Può l'AI pensare?
Pierino lunedì mangia una mela. Martedì ne mangia 2 grandi e mercoledì ne mangia 3, e così via: domenica, ne mangia 7, piccole. Quante mele ha mangiato in totale durante la settimana?
Un problema come questo è apparentemente semplice, ma potrebbe mettere in crisi un LLM. Come mai? Per diversi motivi: sembra scontato che il numero totale di mele calcolato sia dato dalla somma di tutte le mele, ma un LLM potrebbe supporre di dover dare un peso diverso alle mele sulla base delle loro dimensioni, nel calcolare la somma.
Il fatto che le mele siano di dimensioni diverse non cambia il numero totale, ma questo tipi di dettagli potrebbe mettere in difficoltà un LLM, per diverse ragione.
Esistono già dei paper di ricerca che propongono agli LLM di eseguire un pattern matching probabilistico, cercando dei risultati più vicini nel set di dati di training che corrispondono a quelli forniti e, nel caso di problemi matematici, cercano esempi simili. Gli LLM vengono addestrati su dati in cui dettagli come “X mele più piccole”, sono solitamente rilevanti per la risposta, quindi potrebbero sottrarre erroneamente quel numero dal totale perché questo è il pattern probabilistico visto nella maggior parte degli esempi di training pertinenti.
L’errore commesso dall’LLM è dovuto ai dati di training così come anche alla generalizzazione del caso, che portano a risultati errati quando si trovano di fronte a dettagli estranei che non influenzano la risposta, evidenziando una limitazione degli attuali modelli di intelligenza artificiale.
Quindi, l’intelligenza artificiale può pensare?
La domanda di per sé è un’ottima domanda e solleva domande più ampie sul fatto che l’intelligenza artificiale stia simulando o imitando il pensiero e il ragionamento, o se tutto sia solo un’imitazione. I Large Language Model (LLM) spesso arrivano alla risposta giusta senza possedere tuttavia una vera comprensione dei concetti sottostanti, il che può portare a problemi.
Una delle cose su cui si sta riscontrando maggiore difficoltà con il ragionamento logico è a causa di qualcosa chiamato token bias.
Gli LLM sanno prevedere la parola successiva, o più precisamente, il token successivo in una sequenza, e l’output di ragionamento del modello cambia quando cambia un singolo token di input, il che significa che piccole modifiche nel modo in cui si pone una domanda a un LLM possono avere un effetto sproporzionato sul ragionamento presentato nell’output.
Per esempio, la funzione di completamento automatico del testo sui dispositivi utilizza uno schema di previsione basato sulle probabilità di quale sarebbe la parola successiva basandosi sulle conversazioni precedenti avute dall’utente.
Semplificando, si può dire che gli LLM facciano qualcosa di simile, anche se con alcune intelligenze aggiuntive come l’attenzione, ma quando questa predizione non è corretta, può portare ad allucinazioni e a risposte tutt’altro che sensate.
Motivo per cui, spesso, un chatbot o un agente che sembra ragionare potrebbe in realtà eseguire solo un autocompletamento super sofisticato in cui indovina non solo la parola successiva, ma anche la frase successiva, il paragrafo successivo o persino l’intero documento.
Il concetto di ragionamento riferito all’intelligenza artificiale si sta evolvendo e, sebbene si possa dire che un’intelligenza artificiale non comprende i concetti come gli esseri umani, è anche importante riconoscere che l’intelligenza artificiale sta costantemente migliorando e sviluppando nuove capacità.
Tecniche come il prompt engineering, tra cui il Chain-of-thought, possono migliorare il ragionamento incoraggiando il modello a tenere in considerazione dei passaggi intermedi prima di giungere a una risposta, anche se questo significa che sia necessario contare sulla persona che scrive i prompt affinché usi le parole giuste per far sì che l’LLM adotti questo processo.
Esistono anche nuovi modelli che utilizzano il calcolo del tempo di inferenza, che consente al modello di dedicare quantità variabili di tempo a pensare prima di fornire una risposta, con un giusto peso alla quantità di tempo dedicato alla risposta in base a quanto ragionamento è necessario, e questo può essere regolato e migliorato senza dover addestrare e modificare il modello sottostante.
Diversi studi riportano una certa fiducia sul calcolo del tempo di inferenza e i suoi potenziali miglioramenti nel ragionamento dei futuri modelli LLM, poiché il ragionamento può essere migliorato sia nel tempo di addestramento con dati di addestramento di migliore qualità sia nel tempo di inferenza con un migliore addestramento della catena di pensiero.
La questione se l’intelligenza artificiale stia effettivamente pensando o semplicemente simulando il pensiero è una questione prima di tutto filosofica, motivo per cui possiamo pensare di riassumere la capacità di pensare come un qualcosa che richiede coscienza, un obiettivo chiaro, comprensione del contesto e del dominio e flessibilità.
La simulazione, al contrario, manca di consapevolezza, comprensione e scopo, se non quello di fornire un risultato.
Una bella differenza, non credete?
