Apple ha recentemente confermato alcune gravi carenze logiche nell’Intelligenza Artificiale generativa (AI), specialmente per quanto riguarda la capacità di ragionamento matematico. Una nuova ricerca dimostra che l’AI non è così “intelligente” come si credeva, rivelando difficoltà persino nel risolvere semplici problemi di matematica di livello elementare.

Il documento, intitolato “GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models”, redatto da sei ricercatori di Apple, evidenzia come i modelli linguistici avanzati possano risultare inaccurati e fragili nella logica matematica.

I ricercatori hanno utilizzato GSM8K, un dataset contenente 8.000 problemi matematici di livello scolastico, riconosciuto come un benchmark standard per testare le LLM. Hanno poi leggermente modificato il linguaggio dei problemi senza alterarne la logica, creando il test GSM-Symbolic.

I risultati hanno mostrato un significativo calo delle prestazioni, registrando una riduzione che varia dallo 0,3% al 9,2% nel primo set di test. Un ulteriore test, che includeva affermazioni irrilevanti rispetto alla soluzione del problema, ha rivelato cali di performance “catastrofici”, con decrementi dal 17,5% al 65,7%.

Questo non sorprende completamente. Personalmente, ho notato che l’AI fatica con compiti semplici legati ai numeri. In effetti, l’AI non risolve correttamente i problemi matematici, ma utilizza un metodo di “pattern matching” per trasformare le affermazioni in operazioni, senza realmente comprendere il significato.

Sembra che l’AI tenda a fallire nel risolvere semplici problemi matematici perché le parole possono essere troppo confuse o non seguire il pattern esatto. In definitiva, l’AI dà solo l’illusione di “ragionare”, affidandosi piuttosto all’accumulo di dati e al loro processo.

Ma cosa significa questo per il quadro più ampio? Recentemente, ci siamo concentrati eccessivamente sull’AI, e sembra che alcuni si aspettino miracoli da essa (anche io mi sono lasciato trasportare da questo pensiero). Purtroppo presenta limitazioni serie e non è chiaro se queste potranno essere mitigate. Non sono uno scienziato dell’AI, ma sarà molto interessante vedere dove l’evoluzione dell’AI potrà inciampare, oltre che nella matematica.

VIA