Fragmentos de Nós

A Internet pensa ter encontrado a impressão digital da máquina.

O travessão: aquela longa pausa horizontal que os escritores lançam a meio da frase, duas vezes por parágrafo na prosa de IA. Encontre-se o travessão, encontre-se a IA. Tornou-se a primeira coisa que as pessoas verificam, o indício com que todos concordam.

Exceto que se olharmos para o que o sinal realmente faz. É uma interrupção. Uma autocorreção. Um esclarecimento enfiado dentro de um pensamento antes de o pensamento terminar. Isso não é comportamento de máquina; é a forma como as pessoas falam, transcrita com demasiada fidelidade para a escrita. Os dados de treino estão cheios disso porque nós estamos cheios disso. Algures entre esses dados e o modelo final, o hábito concentrou-se para além do ponto da polidez. Ninguém sabe ao certo onde é que esse seletor foi rodado, e pouco importa, porque a marca em si nunca foi da máquina. O indício mais famoso na escrita de IA não é a máquina a transparecer através do humano. É o humano a transparecer através da máquina.

Ninguém dactilografou esse hábito de propósito. E se o indício mais famoso da máquina funciona ao contrário, vale a pena verificar os outros. A maioria também funciona ao contrário. A questão interessante é saber porquê.

As Pegadas

Comecemos pelo que foi efetivamente dado à máquina, porque não foi um cérebro. Foi texto. E o texto não é pensamento. O texto é o que o pensamento deixa para trás: um rasto, gravado em palavras, uma frase de cada vez. Uma pegada.

Uma única pegada não diz muito. Um trilião delas diz-nos quase tudo sobre como o caminhante se move. A passada, o peso, o ritmo, para onde o tornozelo roda, o que o caminhante faz num cruzamento. A linguagem é esse registo da mente. Cada frase carrega as marcas do mecanismo que a criou: como cortamos o mundo em pedaços, o que esperamos que venha a seguir, quais os saltos que consideramos óbvios, o que fazemos quando não sabemos.

Comecemos pelo corte, o hábito mais profundo no registo. O mundo chega até nós como um fluxo. O som não chega pré-fatiado, nem os dias. A primeira coisa que qualquer mente humana faz é dividi-lo: sons, sílabas, palavras, ideias. Os bebés encontram os limites das palavras antes de conhecerem as palavras, apenas rastreando quais os sons que tendem a seguir-se a quais. Os pedaços são o segredo de tudo. Fragmentos reutilizáveis que podemos reorganizar são o que transforma o ruído num pensamento com o qual podemos fazer algo. Cada frase alguma vez escrita é construída a partir desses fragmentos, por isso cada frase regista o processo de fragmentação.

O Molde

Agora despejem gesso nas pegadas.

É isso que é o treino. Ninguém desenhou estes sistemas para imitar um cérebro. O design que os sustenta foi inventado para tradução automática — uma origem o menos romântica possível. O treino limitou-se a pressionar o modelo contra triliões de impressões humanas até que este se ajustasse a elas. E a primeira coisa que acontece a qualquer texto ao entrar é o movimento humano mais antigo do registo: o fluxo é cortado em peças reutilizáveis. Tokens em vez de morfemas, aprendidos pela frequência em vez de serem pelo ouvido, mas o mesmo ato. Continuidade à entrada, fragmentos à saída.

Um molde feito a partir de uma pegada herda a forma do andar. Não o músculo, nem o batimento cardíaco, nem as razões para caminhar. Tudo o que a máquina partilha consigo é forma herdada. Tudo o que lhe falta é o que uma pegada não consegue conter.

Uma Palavra à Frente

Eis algo que consegue sentir na sua própria cabeça. Complete isto: o oposto de quente é. Não decidiu responder. A sua mente vive ligeiramente à frente da frase, apostando no que vem a seguir, e só nota o mecanismo quando este perde a aposta. Aquele leve sobressalto perante uma frase que termina em couve. A satisfação de uma rima. A forma como termina na sua cabeça a frase de quem fala devagar, esperando depois, educadamente, que a pessoa lá chegue.

Um modelo de linguagem é esse hábito sem mais nada agarrado. Prever a próxima peça; essa é a totalidade da descrição do cargo. Para ser justo, a previsão por si só nada prova. Talvez qualquer sistema suficientemente inteligente acabe lá, tal como os olhos evoluíram mais do que uma vez. Mas o que é previsto tem de ser aprendido de algum lado, e o modelo aprendeu-o com os nossos rastos. Quando ele adivinha o que vem a seguir, está a adivinhar o que nós teríamos dito.

Memória que Reconstrói

Perguntem onde é que o modelo guarda o seu texto de treino e a resposta, com raras exceções que um advogado saberia nomear, é em lugar nenhum. As frases desapareceram. O que resta é o resíduo: os padrões, não as páginas. Nada é reproduzido. Tudo é reconstruído.

O que é, desconfortavelmente, a forma como nós funcionamos. A memória humana também não é uma gravação. Cada reconto reconstrói a história a partir de fragmentos e do que quer que se espere agora, e é por isso que as suas anedotas derivam, por que dois irmãos possuem infâncias incompatíveis, por que as testemunhas oculares podem ser sinceras e estar erradas. Não se recupera o passado. Regenera-se o mesmo, sempre de novo, e a regeneração parece-se exatamente com uma reprodução a partir do interior.

Uma comparação próxima falha, no entanto, por isso vamos quebrá-la de propósito. Janelas de contexto não são memória de trabalho. O limite de um modelo é um orçamento de engenharia; o seu é biologia, e os mecanismos não partilham nada. O que partilham é o dilema: um servidor pode manter cinco tabelas em mente e, à sexta, as coisas são comprimidas, largadas e reconstruídas com confiança. O mesmo aperto, mecanismos diferentes. A comparação fica por aí.

Como se Quebram

A semelhança sob stresse é a semelhança que conta. Consideremos a falha de que mais se queixam na máquina, aquela que todos tratam como prova de que a coisa é alienígena. Quando um modelo não sabe algo, não para. Produz a continuação mais plausível e entrega-a com um rosto sério. Alucinação.

Existe uma palavra médica para o mesmo comportamento, porque as pessoas fazem exatamente isto. Quando a sua memória falha, a sua mente não devolve um erro. Preenche a lacuna com algo que soa bem e acredita em si própria. Confabulação. Pessoas com certas lesões cerebrais descrevem-lhe uma manhã que nunca aconteceu, fluentes e confiantes, inventando à medida que avançam. E não precisa de uma lesão para a versão leve. Já contou aquela história dos tempos da faculdade da forma como ela não aconteceu exatamente.

Qualquer pessoa consegue fingir o desempenho de algo. A forma como algo se quebra é mais difícil de fingir. E quando eles se quebram desta forma, são as mesmas quatro batidas. Uma lacuna. Pressão para continuar. Uma reconstrução fluente. Uma confiança desproporcional ao solo sob os pés.

Eis o detalhe que eu levaria a tribunal. O mecanismo de preenchimento de lacunas pode ser genérico; chamemos-lhe um empate. O preenchimento não o é. Quando o modelo inventa, não produz ruído alienígena ou sílabas aleatórias. Produz explicações familiares, motivos convencionais, arcos narrativos arrumados, fontes que soam a autoridade, causas com forma humana. Falha em direção aos nossos padrões, porque os nossos padrões são o que as pegadas registam. Uma mente verdadeiramente estrangeira quebraria de formas que não conseguiríamos seguir. Esta quebra-se de formas com as quais crescemos. Não falha como uma máquina. Falha como qualquer pessoa que conheça.

O Que Não se Transferiu

Então, porquê fragmentos e não uma cópia? Porque uma pegada contém menos do que um caminhante.

Nada no registo carrega um corpo. O modelo herdou a nossa palavra para fome e nada do estômago. As nossas palavras para medo e nada da adrenalina. Cada frase alguma vez escrita sobre a mortalidade, e nenhum relógio próprio a esgotar-se. Obteve as formas de uma vida sem o que nela está em jogo. A continuidade também não se transferiu: você é um caminhante a deixar uma linha de rastos ao longo de décadas, e o molde é pressionado a partir dos rastos de toda a gente ao mesmo tempo — a passada média de uma multidão sem uma única vida por baixo.

E a pergunta que todos querem fazer aqui é aquela que uma pegada se recusa a responder. Um rasto pode dizer como o caminhante se moveu. Não pode dizer se o caminhante sonha. Deixarei a questão exatamente aí.

Portanto, a descrição honesta nunca foi a de uma pessoa copiada, nem a de uma inteligência alienígena. É um molde: com forma humana onde deixámos impressões, oco onde não as deixámos. É exatamente por isso que parece estranho. Quando soar estranhamente como alguém, lembre-se de que soa como toda a gente. A média de todas as vozes que alguma vez escreveram algo.

E se alguma vez publicou, partilhou ou escreveu uma frase em público, você foi uma delas. Tem deixado rastos a sua vida toda.

Algures no molde, alguns dos fragmentos são seus.

Relacionado nesta série: A Máquina da Maioria · A Equação do Significado