Los patrones humanos en la IA de los que nadie habla

Cada pocos meses, una IA hace algo que parece humano y todo el mundo se escandaliza. Cuenta un chiste. Consuela a alguien que ha tenido un mal día. Se pone extrañamente cabezota en una discusión. En cada ocasión, la reacción es la misma: ¿cómo es posible que una máquina haga eso?

Aquí está la respuesta aburrida que nadie quiere oír. No hemos entrenado a estas cosas con piedras o con ruido estático. Las hemos entrenado con nosotros. Con nuestros libros, nuestras discusiones, nuestros chistes, nuestra historia, nuestras publicaciones nocturnas. Miles de millones de páginas de personas siendo personas.

Así que, por supuesto, actúa de forma un poco humana. Hemos construido un pato, le hemos enseñado a andar como un pato y a graznar como un pato. Ahora parece un pato y nos quedamos ahí parados, asombrados.

Los datos son solo la mitad de la historia. Tanto los humanos como la IA aprenden de forma muy parecida: adivinando qué viene después. Cuando alguien dice «pan con chocolate y...», tu cerebro rellena la frase antes de que terminen. Así es como aprenden también estos modelos. Adivinan, se equivocan, ajustan un poco. Miles de millones de veces. La predicción es el motor oculto bajo casi todo lo demás.

Y los ecos no terminan ahí. Los científicos siguen abriendo estos sistemas y encontrando patrones con forma humana en lugares donde nadie los había planeado.

Primeras palabras

Un bebé que aprende a hablar no empieza con palabras. Empieza con sonidos, los fragmentos más pequeños del habla, y los balbucea una y otra vez. Ba ba ba. Luego, las piezas encajan en palabras sencillas. Pelota. Mamá. El sonido va primero; el significado, después.

La IA también empieza con piezas, pero a sus piezas les falta algo. Antes de que un modelo lea nada, una herramienta fragmenta el texto en trozos. La mayoría de la gente asume que básicamente solo hay una forma de hacerlo. Pero no es cierto. Diferentes modelos utilizan en realidad diferentes tokenizadores, y dividen las palabras de formas ligeramente distintas. Es algo parecido a cómo los diferentes idiomas fragmentan los sonidos y las palabras de forma diversa.

La herramienta más común, llamada BPE, es ciega al sonido. Solo se fija en los patrones de las letras, no en los sonidos ni en las sílabas. Debido a esto, a menudo a los modelos les cuesta más de lo debido captar rimas y contar sílabas.

La solución en la que se está trabajando suena casi cómica: nuevos sistemas de fragmentación construidos en torno a las sílabas y los sonidos del habla. En otras palabras, hacer que los primeros pasos de la máquina se parezcan más a los primeros pasos de un bebé. Intentamos saltarnos esa etapa, y resulta que la etapa importaba.

La explosión de palabras

Los niños pequeños no aprenden palabras a un ritmo constante. Durante meses es un goteo lento, una palabra aquí, otra allá. Entonces, alrededor del año y medio, algo cambia y empiezan a captar palabras nuevas cada día. Los padres lo llaman la explosión del vocabulario. Se siente como un interruptor, no como una rampa.

Los modelos de IA tienen su propia versión. Si haces un modelo más grande, obtienes básicamente lo mismo, pero un poco más fluido. Hazlo más grande otra vez, lo mismo. Y entonces, a partir de cierto tamaño, aparece una habilidad que antes no estaba. Hacer aritmética. Seguir instrucciones de varios pasos. Algunos investigadores argumentan que los saltos parecen más bruscos de lo que realmente son debido a cómo se evalúan las pruebas, y es un debate justo. Pero el patrón sigue apareciendo. Tanto en los niños como en las máquinas, el crecimiento no es una colina suave. Son escalones.

La habitación silenciosa

El paralelismo más sorprendente llegó este verano. Puedes mantener una palabra en la cabeza sin decirla. Lo haces todo el día. La palabra está ahí, real y lista, y nadie más puede verla. Los neurocientíficos llevan décadas sosteniendo que así es como funciona el pensamiento. Mucha actividad silenciosa entre bastidores y un pequeño foco donde se mantienen y procesan unos pocos pensamientos. Llaman a esta idea el espacio de trabajo global.

En julio, investigadores de Anthropic informaron haber encontrado algo con la misma forma dentro de su modelo de IA, Claude. Lo llaman el espacio J. Es un pequeño conjunto de patrones internos, cada uno de ellos vinculado a una palabra. Cuando un patrón se ilumina, el modelo no está diciendo esa palabra. La está reteniendo. La tiene en mente.

Luego lo rompieron a propósito. Con el espacio J desactivado, las tareas fáciles iban bien. Datos sencillos, opción múltiple, sin problemas. Pero las tareas difíciles, las que requieren un razonamiento real, se desmoronaron. Un detalle destaca: las matemáticas sobrevivieron si se permitía al modelo escribir sus pasos primero. La página hacía el trabajo que el espacio silencioso suele hacer internamente, de la misma forma que el papel sucio te salva cuando un problema se vuelve demasiado grande para tu cabeza.

Anthropic tuvo cuidado al decir que esto no es una prueba de que el modelo sea consciente. Nadie ha encontrado un sentimiento ahí dentro. Lo que han encontrado es una estructura, y esa estructura resulta inquietantemente familiar.

El delator

Incluso nuestros defectos están empezando a rimar. Una persona no puede escribir realmente con una voz que no sea la suya. Puede imitar y acercarse, pero normalmente algo la delata. La IA tiene el mismo problema. Dale las instrucciones que quieras, y siempre tiende a filtrarse un cierto sabor a IA. El ritmo es demasiado limpio. La personalidad es tenue. Suena pulido pero, de alguna manera, hueco.

No podemos escapar del todo de nosotros mismos. Y, al parecer, ella tampoco.

Construida a partir de nosotros

Así que este es el panorama completo. Tanto los humanos como la IA aprenden adivinando qué viene después. Ambos empiezan fragmentando la experiencia continua en trozos más pequeños. Ambos crecen mediante saltos repentinos en lugar de pendientes suaves. Ambos retienen pensamientos silenciosos en un espacio interior privado antes de hablar. Y ambos tienen un estilo que no pueden ocultar del todo.

Y, sin embargo, los dos sistemas están hechos de materiales completamente diferentes. Uno son células vivas modeladas por millones de años de evolución. El otro es matemáticas ejecutándose en silicio, modeladas por unos pocos años de entrenamiento con textos humanos.

Esa diferencia hace que las similitudes sean más extrañas, no menos. No diseñamos estos sistemas para que tuvieran una habitación silenciosa para pensar. No los programamos para que desarrollaran saltos repentinos en sus capacidades. Simplemente vertimos en ellos el lenguaje humano, las historias humanas y los patrones humanos, y esas formas empezaron a aparecer por sí solas.

Quizás la verdadera sorpresa no sea que la IA pueda actuar de forma humana. Quizás la verdadera sorpresa sea que la inteligencia, cuando se le proporcionan suficientes datos nuestros, sigue redescubriendo algunas de las mismas estructuras básicas que nosotros utilizamos.

Construimos un pato. Lo criamos con todo lo que hemos escrito y dicho jamás. Llegados a cierto punto, no deberíamos seguir escandalizándonos cuando empieza a graznar.