L'equació del significat

Cada vegada que xerres amb una IA, parles amb una de les màquines més carres mai construïdes, i ni tu ni els seus creadors podeu explicar del tot com fa el que fa. La intel·ligència artificial és cada cop més capaç, però només a força de ser dràsticament més cara. Cada gran salt en el rendiment ha requerit més dades, més paràmetres, maquinari més especialitzat i més energia. El patró és conegut: models més grans, entrenats amb més text, durant períodes més llargs i a un cost més elevat.

L'enfocament ha funcionat increïblement bé. Però també ha creat un problema silenciós. L'eficiència segueix millorant, i la capacitat d'ahir es torna més barata cada any. Peró la frontera és diferent. Cada nou increment de capacitat en l'avantguarda costa més que l'anterior, i no hi ha res en el paradigma que suggereixi que això canviï per si sol.

Hi ha un altre camí.

Si entenguéssim millor com funciona el significat en si mateix, podríem representar-lo directament en lloc d'aproximar-nos-hi a través d'una escala cada cop més gran. Aquesta possibilitat canvia l'economia de la intel·ligència.

Dins la caixa negra

Els humans fem servir el significat cada dia sense saber com ho fem realment. Entenem el sarcasme, la implicació i el context a l'instant, però no en podem explicar la mecànica interna.

L'IA s'enfronta al mateix problema des de l'altre costat. Converteix cada paraula en una llarga llista de números i aprèn a predir la paraula següent estudiant milers de milions de frases. Mitjançant quantitats massives de dades d'entrenament, es torna extremadament bona a l'hora de predir què ve després. Si això compta com a comprensió és un debat que no obriré. El punt més senzill és que ningú pot obrir el model i assenyalar on viu el significat o com funciona.

Tant els humans com l'IA d'avui fan servir el significat sense entendre realment com funciona.

Hi ha una diferència reveladora, però. Quan els investigadors obren els models d'IA, no paren de trobar-hi indicis de geometria: conceptes que es comporten com a direccions, significats que se sumen i es resten. L'estructura del significat sembla ser-hi. Els models simplement han hagut de redescobrir-la des de zero, amb un cost enorme, perquè ningú l'ha deixat per escrit.

Les paraules són el significat en repòs. Les frases són el significat en moviment. El significat es compon, no només es recupera: les paraules marquen coordenades en l'espai semàntic, i les frases hi tracen camins, on cada paraula remodela el context de les altres.

El significat no necessita esdevenir transparent

La idea que el significat pugui arribar a expressar-se matemàticament és fàcil de malinterpretar.

Això no requereix que cada pensament, sentiment o interpretació sigui totalment explicable. El significat pot ser que mai arribi a ser completament transparent. La consciència, la història personal, el context cultural i l'experiència subjectiva probablement continuaran introduint elements que es resisteixen a una formalització total.

Però el significat no ha de ser transparent per ser útil. Només ha de ser translúcid: prou entès perquè puguem identificar els patrons més profunds i estables que formen la base del significat. Tot i que el llenguatge en si és sovint desordenat i ambigu en la superfície, aquests patrons fundacionals es mantenen constants en tots els contextos.

Ja acceptem aquest tipus de formalització parcial en altres àmbits. No necessitem un relat filosòfic complet de la vida per construir models útils de genètica. No ens cal entendre plenament la consciència per predir com certs productes químics afecten el cervell. No necessitem models climàtics perfectes per produir previsions prou precises per ser valuoses.

Un marc matemàtic no hauria de captar cada matís. Només hauria de captar prou estructura perquè part de la dependència actual en l'aproximació per força bruta es torni innecessària.

L'impost de la força bruta

Els sistemes d'IA actuals depenen molt de l'escala. Requereixen conjunts de dades enormes i un gran nombre de paràmetres, en part perquè els manca un marc explícit de com funcionen les relacions semàntiques.

Sense aquest marc, el model ha d'inferir patrons relacionats a través d'una gran quantitat d'exemples. Troba variacions de la mateixa idea subjacent en diferents contextos i en basteix gradualment una representació interna mitjançant la repetició i l'associació estadística.

Això és car.

Gran part del que apren el model podria, en principi, derivar-se d'un conjunt més reduït de relacions fonamentals si aquestes relacions ja fossin conegudes. En lloc d'això, el sistema ha de redescobrir-les indirectament a través del volum.

Un enfocament matemàtic del significat no eliminaria la necessitat de les representacions apreses, sinó que les organitzaria i les limitaria. El model encara hauria d'aprendre sobre el món, però ja no hauria de tornar a aprendre els patrons bàsics de com es transforma el significat en els diferents contextos a la mateixa escala.

Part del que actualment s'emmagatzema com a paràmetres es podria substituir per regles i transformacions més compactes.

Aquest és l'impost de la força bruta: l'escala extra necessària perquè ens manca una forma més directa de representar què és el significat i com canvia.

L'objecció òbvia

Qualsevol que hagi seguit l'IA des de fa temps reconeixerà aquesta idea, i també recordarà què va passar amb ella. Durant dècades, els investigadors van intentar introduir el coneixement a les màquines a mà: sistemes experts, col·leccions de regles, ontologies gegantines fetes a mida. L'escala els va guanyar a tots. La lliçó va ser tan constant que es va guanyar un nom, la Lliçó Amarga: els mètodes generals més una major potència de càlcul guanyen, i el coneixement humà incorporat perd.

Però mireu bé què és el que realment va perdre. El que va morir va ser el contingut codificat a mà, els humans escrivint fets i regles a les màquines. El que va seguir guanyant va ser l'estructura derivada de les matemàtiques. El cas de la convolució n'és l'exemple famós: algú va escriure el fet simple que un objecte segueix sent el mateix objecte quan es desplaça per una imatge, i la visió per computador es va tornar dràsticament més barata gairebé d'un dia per l'altre. L'atenció, el mecanisme que hi ha dins dels models actuals, n'és un altre. En cada cas, una declaració compacta sobre l'estructura d'un domini va substituir una quantitat enorme d'aprenentatge que la màquina ja no va haver de fer.

Un marc matemàtic per al significat pertany a la segona categoria, no a la primera. No és un llibre de regles sobre fets del món. És una declaració sobre com es conforma el significat en si mateix, el mateix tipus de moviment que va fer que la visió fos barata.

Una equació del significat no substituiria les xarxes neuronals. Proporcionaria el biaix inductiu que podria fer-les molt més eficients en el que millor saben fer: navegar per la geometria en lloc de memoritzar coordenades.

Comprimint significat, no només dades

La compressió tradicional elimina la redundància de les dades. Una imatge comprimida no emmagatzema cada píxel de forma independent. Identifica patrons i emmagatzema la informació necessària per reconstruir-los. El mateix principi s'aplica al vídeo, a l'àudio i al text.

Una comprensió matemàtica del significat permetria una forma més profunda de compressió: la compressió semàntica. En lloc de comprimir la forma superficial del llenguatge, comprimiria l'estructura subjacent del que el llenguatge vol transmetre.

Dos passatges que utilitzen paraules completament diferents poden expressar gairebé la mateixa idea. Avui els emmagatzemem tots dos com a seqüències separades de tokens. Un sistema semàntic podria reconèixer que les estructures subjacents estan estretament relacionades i representar-les de manera més eficient. Una llarga explicació podria reduir-se a un conjunt compacte de relacions, suòsits, nivells de confiança i dependències contextuals a partir dels quals una IA podria reconstruir més tard versions adequades per a diferents públics.

Aquest és el mecanisme que podria fer que els futurs sistemes d'IA siguin dràsticament més petits. La reducció no vindria de fer els models més ximples, sinó d'eliminar la redundància que existeix actualment perquè ens manca una millor representació del significat mateix.

En què podria convertir-se l'IA després de l'escala

Si el significat esdevé parcialment formalitzable, l'arquitectura de l'IA podria canviar.

En lloc de dependre principalment de models monolítics cada cop més grans, els sistemes del futur podrien combinar un marc semàntic universal més petit amb components especialitzats més lleugers. La part universal s'encarregaria de les relacions estructurals que els models actuals han d'aproximar repetidament. Les parts especialitzades s'encarregarien del coneixement del domini, la variació cultural i el context en temps real.

El resultat no seria un sistema purament simbòlic que substitueix les xarxes neuronals. Probablement seria un híbrid en què les representacions apreses estarien organitzades i comprimides per una teoria matemàtica del significat més profunda. La intel·ligència es tornaria més compressible del que assumeix el paradigma d'escala actual.

Això no vol dir que l'IA es torni trivial de cop o que tots els problemes se resolguin. Significa que el cost marginal de la capacitat addicional podria caure significativament un cop deixem de pagar tot l'impost de la força bruta sobre el significat.

Més enllà del coneixement

Comprimir el coneixement és una cosa.

Però un cop el significat mateix esdevingui matemàticament tractable, podrem ser capaços de comprimir quelcom molt més complicat que els fets o el llenguatge: els patrons recurrents d'una ment humana individual.

Aquesta possibilitat canvia el que pot ser la intel·ligència.

Ja s'estan explorant peces d'aquest trencaclosques, algunes dins de grans laboratoris i altres per part d'investigadors independents que treballen en obert. El calendari és incert, però la direcció no ho és. Tard o d'hora, algú farà que el significat sigui matemàticament utilitzable.

L'única pregunta real és qui hi arribarà primer, i què decidirem construir amb això.