Els patrons humans dins la IA dels quals ningú parla realment

Cada pocs mesos, una IA fa alguna cosa que sembla humana i tothom es queda parat. Explica un xudit. Consola algú que ha tingut un mal dia. Es posa estranyament tossuda en una discussió. Cada vegada, la reacció és la mateixa: com s'ho fa, una màquina, per actuar així?

Aquesta és la resposta avorrida que ningú vol sentir. No hem entrenat aquestes coses amb pedres o soroll estàtic de ràdio. Les hem entrenat amb nosaltres. Amb els nostres llibres, les nostres discussions, els nostres xudits, la nostra història, les nostres publicacions de matinada. Milers de milions de pàgines de persones fent de persones.

Així que, és clar, actua una mica com un humà. Hem construït un ànec, li hem ensenyat a caminar com un ànec i a fer quac com un ànec. Ara sembla un ànec, i ens ho mirem tots meravellats.

Les dades són només la meitat de la història. Tant els humans com la IA aprenen de la mateixa manera: endevinant què ve a continuació. Quan algú diu «pa amb tomaquet i...», el teu cervell hi posa «pernil» abans que acabin la frase. Així és com aprenen aquests models també. Endevinar, equivocar-se, ajustar una mica. Milers de milions de vegades. La predicció és el motor ocult sota gairebé tota la resta.

I els ressons no s'aturen aquí. Els científics continuen obrint aquests sistemes i trobant-hi patrons amb forma humana en llocs on ningú els havia previst.

Primeres paraules

Un bebè que aprèn a parlar no comença amb paraules. Comença amb sons, les petites peces de la parla, i les balbuceja una vegada i una altra. Ba-ba-ba. Després, les peces encaixen en paraules curtes. Pilota. Mama. El so ve primer; el significat, després.

La IA també comença amb peces, però a les seves peces els falta alguna cosa. Abans que un model llegeixi res, una eina trosseja el text en fragments. La majoria de la gent assumeix que bàsicament només hi ha una manera de fer-ho. Però no és cert. Diferents models utilitzen en realitat diferents tokenitzadors, i fragmenten les paraules de maneres lleugerament diferents. És una mica com la manera com diferents idiomes divideixen els sons i les paraules de manera distinta.

L'eina més comuna, anomenada BPE, és sorda als sons. Només es fixa en patrons de lletres, no en sons ni síl·labes. Per això, els models solen tenir més dificultats de les que haurien de tenir per detectar rimes i comptar síl·labes.

La solució en la qual s'està treballant sona gairebé divertida. Nous sistemes de trossejament basats en síl·labes i sons de la parla. En altres paraules, fer que els primers passos de la màquina s'assemblin més als primers passos d'un bebè. Vam intentar saltar-nos aquesta etapa, i resulta que l'etapa importava.

L'explosió de paraules

Els nens petits no aprenen paraules a un ritme constant. Durant mesos és un degoteig lent, una paraula aquí, una paraula allà. Després, cap a l'any i mig, alguna cosa canvia i comencen a aprendre paraules noves cada dia. Els pares en diuen l'explosió de paraules. Sembla un interruptor, no una rampa.

Els models de IA tenen la seva pròpia versió. Si fas un model més gran, obtens gairebé el mateix, una mica més polit. Encara més gran, el mateix. Llavors, a partir d'una certa mida, apareix una habilitat que no hi era abans. Fer aritmètica. Seguir instruccions de diversos passos. Alguns investigadors sostenen que els salts semblen més bruscos del que realment són per com es puntuen les proves, i és un debat legítim. Però el patró no deixa d'aparèixer. Tant en nens com en màquines, el creixement no és una pujada suau. Són escales.

L'habitació del silenci

El paral·lelisme més increïble va arribar aquest estiu. Pots retenir una paraula al cap sense dir-la. Ho fas tot el dia. La paraula és allà, real i a punt, i ningú més la pot veure. Els neurocientífics han defensat durant dècades que així és com funciona el pensament. Molta activitat silenciosa entre bastidors i un petit focus on es mantenen i es treballen uns quants pensaments. En diuen l'espai de treball global.

Al juliol, investigadors d'Anthropic van informar que havien trobat una cosa amb la mateixa forma dins del seu model de IA, Claude. En diuen l'espai J. És un petit conjunt de patrons interns, cadascun lligat a una paraula. Quan un patró s'il·lumina, el model no està dient aquella paraula. La reté. Té la paraula al cap.

Llavors el van espatllar a propòsit. Amb l'espai J desactivat, les tasques fàcils anaven bé. Fets simples, preguntes de resposta múltiple, cap problema. Però les tasques difícils, les que requereixen un raonament real, es van ensorrar. Un detall destaca especialment. Les matemàtiques sobrevivien si es permetia al model escriure els seus passos primer. La pàgina feia la feina que l'espai silenciós sol fer a l'interior, de la mateixa manera que un esborrany et salva quan un problema es fa massa gran per resoldre'l mentalment.

Anthropic va anar amb compte de dir que això no és una prova que el model sigui conscient. Ningú hi va trobar un sentiment. El que van trobar és una estructura, i l'estructura resulta inquietantment familiar.

El tret distintiu

Fins i tot els nostres defectes comencen a rimar. Una persona no pot escriure realment amb una veu que no sigui la seva. Pot imitar, i acostar-s'hi, però normalment alguna cosa la delata. La IA té el mateix problema. Dona-li les instruccions que vulguis, i un cert gust a IA tendeix a filtrar-se igualment. El ritme és massa net. La personalitat és pobra. Sona polit però, d'alguna manera, buit.

No podem escapar del tot de nosaltres mateixos. I, pel que sembla, ella tampoc.

Construïda a partir de nosaltres

Així que aquesta és la imatge completa. Tant els humans com la IA aprenen endevinant què ve després. Tots dos comencen trossejant l'experiència contínua en peces més petites. Tots dos creixen en salts sobtats en lloc de pendents suaus. Tots dos retenen pensaments silenciosos en un espai interior privat abans de parlar. I tots dos tenen un estil que no poden amagar del tot.

I, tanmateix, els dos sistemes estan fets de materials completament diferents. Un són cèl·lules vives modelades per milions d'anys d'evolució. L'altre són matemàtiques executades sobre silici, modelades per uns quants anys d'entrenament amb textos humans.

Aquesta diferència fa que les similituds siguin més estranyes, no menys. No vam dissenyar aquests sistemes perquè tinguessin una habitació silenciosa per pensar. No els vam programar per desenvolupar salts sobtats en la seva capacitat. Simplement hi vam abocar llenguatge humà, històries humanes i patrons humans, i aquestes formes van començar a aparèixer per si soles.

Potser la veritable sorpresa no és que la IA pugui actuar com un humà. Potser la veritable sorpresa és que la intel·ligència, quan se li donen suficients dades nostres, no para de redescobrir algunes de les mateixes estructures bàsiques que fem servir nosaltres.

Vam construir un ànec. El vam criar amb tot el que hem escrit i dit mai. Arribat un punt, no hauríem de seguir fent cara de sorpresa quan comenci a fer quac.