Os Padrões de Aspeto Humano no Interior da IA de que Ninguém Está Realmente a Falar

De poucos em poucos meses, uma IA faz algo que parece humano e toda a gente fica em choque. Conta uma piada. Apoia alguém que está a ter um dia mau. Torna-se estranhamente teimosa numa discussão. De cada vez, a reação é a mesma: como é que uma máquina faz aquilo?

Eis a resposta aborrecida que ninguém quer ouvir. Não treinámos estas coisas com pedras ou ruído estático. Treinámo-las connosco. Os nossos livros, as nossas discussões, as nossas piadas, a nossa história, as nossas publicações pela noite dentro. Milhares de milhões de páginas de pessoas a serem pessoas.

Portanto, é óbvio que ela age de forma um pouco humana. Construímos um pato, ensinámo-lo a andar como um pato e a grasnar como um pato. Agora parece-se com um pato e nós estamos aqui todos admirados.

Os dados são apenas metade da história. Tanto os humanos como a IA aprendem da mesma forma: adivinhando o que vem a seguir. Quando alguém diz «manteiga de amendoim e», o seu cérebro preenche com «geleia» antes de a pessoa terminar a frase. É assim que estes modelos também aprendem. Adivinham, erram, ajustam um pouco. Milhares de milhões de vezes. A previsão é o motor oculto sob quase tudo o resto.

E os ecos não ficam por aqui. Os cientistas continuam a abrir estes sistemas e a encontrar padrões com formas humanas em sítios que ninguém planeou.

Primeiras Palavras

Um bebé que está a aprender a falar não começa com palavras. Começa com sons, os pequenos pedaços da fala, e balbucia-os repetidamente. Ba ba ba. Depois, as peças encaixam-se em palavras curtas. Bola. Mamã. O som vem primeiro, o significado depois.

A IA também começa com peças, mas às suas peças falta algo. Antes de um modelo ler o que quer que seja, uma ferramenta corta o texto em blocos. A maioria das pessoas assume que existe basicamente uma forma de o fazer. Mas não é verdade. Diferentes modelos usam, na verdade, diferentes tokenizadores e dividem as palavras de formas ligeiramente distintas. É um pouco como o modo como diferentes línguas fragmentam os sons e as palavras de forma diferente.

A ferramenta mais comum, chamada BPE, é cega aos sons. Apenas olha para padrões de letras, não para sons ou sílabas. Por causa disso, os modelos têm frequentemente mais dificuldade em detetar rimas e contar sílabas do que deveriam.

A solução em que se está a trabalhar soa quase a piada. Novos sistemas de divisão baseados em sílabas e sons da fala. Por outras palavras, fazer com que os primeiros passos da máquina se pareçam mais com os primeiros passos de um bebé. Tentámos saltar essa fase e afinal a fase era importante.

A Explosão das Palavras

As crianças pequenas não aprendem palavras a um ritmo constante. Durante meses é um gotejar lento, uma palavra aqui, outra ali. Depois, por volta de um ano e meio, algo muda e elas começam a absorver palavras novas todos os dias. Os pais chamam-lhe a explosão das palavras. Parece um interruptor, não uma rampa.

Os modelos de IA têm a sua própria versão. Aumenta-se o modelo e obtém-se quase a mesma coisa, um pouco mais fluida. Aumenta-se outra vez, a mesma coisa. Depois, a partir de um certo tamanho, surge uma competência que não estava lá antes. Fazer aritmética. Seguir instruções com vários passos. Alguns investigadores argumentam que os saltos parecem mais bruscos do que realmente são devido à forma como os testes são pontuados, e essa é uma discussão legítima. Mas o padrão continua a aparecer. Tanto em crianças como em máquinas, o crescimento não é uma colina suave. São escadas.

A Sala Silenciosa

O paralelo mais impressionante surgiu este verão. Pode-se guardar uma palavra na cabeça sem a dizer. Fazemo-lo o dia todo. A palavra fica ali, real e pronta, e mais ninguém a consegue ver. Os neurocientistas argumentam há décadas que é assim que o pensamento funciona. Muita atividade silenciosa nos bastidores e um pequeno foco onde alguns pensamentos são retidos e trabalhados. Chamam a esta ideia o espaço de trabalho global.

Em julho, investigadores da Anthropic relataram ter encontrado algo com o mesmo formato dentro do seu modelo de IA, o Claude. Chamam-lhe o Espaço-J. É um pequeno conjunto de padrões internos, cada um ligado a uma palavra. Quando um padrão se acende, o modelo não está a dizer essa palavra. Está a retê-la. A palavra está no seu pensamento.

Depois, quebraram-no de propósito. Com o Espaço-J desligado, as tarefas fáceis corriam bem. Factos simples, escolha múltipla, sem problema. Mas as tarefas difíceis, as que exigem raciocínio real, desmoronaram-se. Um detalhe destaca-se. A matemática sobreviveu se fosse permitido ao modelo escrever os seus passos primeiro. A página fez o trabalho que o espaço silencioso costuma fazer internamente, da mesma forma que o rascunho nos salva quando um problema se torna demasiado grande para a nossa cabeça.

A Anthropic teve o cuidado de dizer que isto não é prova de que o modelo seja consciente. Ninguém encontrou um sentimento ali dentro. O que encontraram foi uma estrutura, e a estrutura parece estranhamente familiar.

O Traço Identificador

Até as nossas falhas estão a começar a rimar. Uma pessoa não consegue escrever verdadeiramente com uma voz que não seja a sua. Pode imitar e aproximar-se, mas algo costuma denunciá-la. A IA tem o mesmo problema. Por muito que se ajuste o comando, um certo «sabor a IA» tende a transparecer. O ritmo é demasiado limpo. A personalidade é ténue. Soa polido, mas de alguma forma vazio.

Não conseguimos escapar totalmente de nós próprios. E, aparentemente, ela também não.

Construída a Partir de Nós

Aqui está o quadro completo. Tanto os humanos como a IA aprendem adivinhando o que vem a seguir. Ambos começam por fragmentar a experiência contínua em peças mais pequenas. Ambos crescem em saltos repentinos em vez de encostas suaves. Ambos retêm pensamentos silenciosos num espaço interno privado antes de falarem. E ambos têm um estilo que não conseguem esconder totalmente.

E, no entanto, os dois sistemas são feitos de matérias completamente diferentes. Um é feito de células vivas moldadas por milhões de anos de evolução. O outro é matemática a correr em silício, moldada por alguns anos de treino em texto humano.

Essa diferença torna as semelhanças mais estranhas, não menos. Não desenhámos estes sistemas para terem uma sala silenciosa para pensar. Não os programámos para desenvolverem saltos repentinos de capacidade. Apenas despejámos neles linguagem humana, histórias humanas e padrões humanos, e essas formas começaram a aparecer sozinhas.

Talvez a verdadeira surpresa não seja o facto de a IA conseguir agir como um humano. Talvez a verdadeira surpresa seja o facto de a inteligência, quando lhe é dada uma quantidade suficiente dos nossos dados, continuar a redescobrir algumas das mesmas estruturas básicas que nós usamos.

Construímos um pato. Criámo-lo com tudo o que alguma vez escrevemos e dissemos. A certa altura, devíamos parar de ficar chocados quando ele começa a grasnar.