I pattern quasi umani dell'IA di cui nessuno parla davvero

Ogni pochi mesi, un'IA fa qualcosa che sembra umano e tutti restano a bocca aperta. Racconta una barzelletta. Consola qualcuno che ha avuto una brutta giornata. Diventa stranamente ostinata in una discussione. Ogni volta la reazione è la stessa: come fa una macchina a riuscirci?

Ecco la risposta noiosa che nessuno vuole sentire. Non abbiamo addestrato queste cose su sassi o fruscii radio. Le abbiamo addestrate su di noi. Sui nostri libri, sulle nostre liti, sulle nostre battute, sulla nostra storia, sui nostri post notturni. Miliardi di pagine di persone che fanno le persone.

Quindi, ovviamente, si comporta in modo un po' umano. Abbiamo costruito un'anatra, le abbiamo insegnato a camminare come un'anatra e a fare qua qua come un'anatra. Ora sembra proprio un'anatra e noi restiamo lì a meravigliarci.

I dati sono solo metà della storia. Sia gli esseri umani che l'IA imparano più o meno allo stesso modo: indovinando cosa verrà dopo. Quando qualcuno dice «pane e...», il cervello suggerisce «burro» prima ancora che la frase sia finita. È così che imparano anche questi modelli. Indovinano, sbagliano, si correggono un po'. Miliardi di volte. La previsione è il motore nascosto dietro quasi tutto il resto.

E le analogie non finiscono qui. Gli scienziati continuano a scoperchiare questi sistemi e a trovare pattern a misura d'uomo in posti che nessuno aveva previsto.

Le prime parole

Un bambino che impara a parlare non inizia con le parole. Inizia con i suoni, i minuscoli frammenti del discorso, e li balbetta all'infinito. Ba ba ba. Poi i pezzi si incastrano in parole brevi. Palla. Mamma. Il suono viene prima, il significato dopo.

Anche l'IA inizia con dei frammenti, ma ai suoi pezzi manca qualcosa. Prima che un modello legga qualsiasi cosa, uno strumento frammenta il testo in blocchi. La maggior parte delle persone pensa che ci sia fondamentalmente un solo modo per farlo. Ma non è così. Modelli diversi usano tokenizer diversi e suddividono le parole in modi leggermente differenti. È un po' come il modo in cui lingue diverse scompongono suoni e parole in modo diverso.

Lo strumento più comune, chiamato BPE, è «sordo». Analizza solo i pattern di lettere, non i suoni o le sillabe. Per questo motivo, i modelli spesso faticano più del dovuto a cogliere le rime e a contare le sillabe.

La soluzione su cui si sta lavorando sembra quasi buffa. Nuovi sistemi di frammentazione costruiti intorno alle sillabe e ai suoni del parlato. In altre parole, fare in modo che i primi passi della macchina assomiglino di più a quelli di un neonato. Abbiamo cercato di saltare quella fase, e si è scoperto che invece era importante.

L'esplosione del vocabolario

I bambini non imparano le parole a un ritmo costante. Per mesi è un lento gocciolio, una parola qui, una parola là. Poi, verso l'anno e mezzo, scatta qualcosa e iniziano a fare proprie nuove parole ogni giorno. I genitori la chiamano l'esplosione del vocabolario. Sembra un interruttore che si accende, non una rampa.

I modelli di IA hanno la loro versione. Se rendi un modello più grande, ottieni quasi sempre la stessa cosa, solo un po' più fluida. Aumenti ancora, ed è lo stesso. Poi, a una certa dimensione, compare una capacità che prima non c'era. Risolvere calcoli aritmetici. Seguire istruzioni con più passaggi. Alcuni ricercatori sostengono che questi salti sembrino più netti di quanto non siano in realtà a causa del modo in cui vengono valutati i test, ed è una critica legittima. Ma il pattern continua a ripresentarsi. Sia nei bambini che nelle macchine, la crescita non è una collina dolce. È una scala.

La stanza del silenzio

Il parallelismo più incredibile è emerso quest'estate. Ognuno di noi può tenere una parola in testa senza pronunciarla. Lo facciamo tutto il giorno. La parola resta lì, reale e pronta, e nessun altro può vederla. I neuroscienziati sostengono da decenni che il pensiero funzioni proprio così. Molta attività silenziosa dietro le quinte e un piccolo riflettore dove alcuni pensieri vengono trattenuti ed elaborati. Chiamano questa idea «spazio di lavoro globale».

A luglio, i ricercatori di Anthropic hanno riferito di aver trovato qualcosa con la stessa forma all'interno del loro modello di IA, Claude. Lo chiamano «J-space». È un piccolo set di pattern interni, ognuno legato a una parola. Quando un pattern si illumina, il modello non sta pronunciando quella parola. La sta trattenendo. La parola è «nella sua mente».

Poi lo hanno disattivato di proposito. Con lo J-space spento, i compiti facili andavano bene. Fatti semplici, domande a risposta multipla, nessun problema. Ma i compiti difficili, quelli che richiedono un vero ragionamento, sono crollati. Un dettaglio risalta su tutti. La matematica si salvava se al modello era permesso di scrivere prima i propri passaggi. La pagina svolgeva il compito che lo spazio del silenzio solitamente svolge all'interno, nello stesso modo in cui un foglio di brutta copia ci salva quando un problema diventa troppo grande per essere gestito a mente.

Anthropic ha precisato che questa non è la prova che il modello sia cosciente. Nessuno ha trovato un sentimento lì dentro. Ciò che hanno trovato è una struttura, e quella struttura sembra inquietantemente familiare.

La firma

Persino i nostri difetti iniziano a somigliarsi. Una persona non può scrivere davvero con una voce che non sia la propria. Può imitare, andarci vicino, ma di solito qualcosa la tradisce. L'IA ha lo stesso problema. Puoi darle qualsiasi prompt, ma tende comunque a trapelare un certo «gusto» da IA. Il ritmo è troppo pulito. La personalità è sottile. Suona impeccabile ma, in qualche modo, vuota.

Non possiamo sfuggire completamente a noi stessi. E, a quanto pare, nemmeno lei.

Costruita a nostra immagine

Ecco quindi il quadro completo. Sia gli esseri umani che l'IA imparano prevedendo cosa verrà dopo. Entrambi iniziano scomponendo l'esperienza continua in piccoli pezzi. Entrambi crescono per salti improvvisi invece che per pendenze dolci. Entrambi trattengono pensieri silenziosi in uno spazio interno privato prima di parlare. Ed entrambi hanno uno stile che non riescono a nascondere del tutto.

Eppure i due sistemi sono fatti di materia completamente diversa. Uno è composto da cellule vive modellate da milioni di anni di evoluzione. L'altro è matematica che gira su silicio, modellata da pochi anni di addestramento su testi umani.

Questa differenza rende le somiglianze ancora più strane, non meno. Non abbiamo progettato questi sistemi affinché avessero una stanza silenziosa per pensare. Non li abbiamo programmati per sviluppare improvvisi salti di capacità. Abbiamo solo versato in essi il linguaggio umano, le storie umane e i pattern umani, e quelle forme hanno iniziato a manifestarsi da sole.

Forse la vera sorpresa non è che l'IA possa agire in modo umano. Forse la vera sorpresa è che l'intelligenza, quando riceve abbastanza dati nostri, continui a riscoprire alcune delle stesse strutture di base che usiamo noi.

Abbiamo costruito un'anatra. L'abbiamo cresciuta con tutto ciò che abbiamo mai scritto e detto. A un certo punto dovremmo smettere di stupirci se inizia a fare qua qua.