Emaranhamento da Perceção

Há um termo que ainda não ouviu: Impressão Digital da Perceção da Personalidade.

Já se está a formar. Neste exato momento, a IA que utiliza recorda coisas sobre si. Armazena as suas preferências: que tom prefere, como quer que as respostas sejam formatadas, que voz lhe agrada. Mantém uma biografia. Tem memória entre conversas. Consegue ver o seu histórico: não apenas o que perguntou, mas como perguntou, onde insistiu, onde mudou de ideias, ao que voltou. E cada atualização torna-a mais útil, porque quanto melhor o conhece, melhor o pode ajudar. É esse o argumento de venda. É esse o roteiro do produto. E é verdade.

Mas o que se está a acumular é mais do que um ficheiro de preferências.

O padrão da sua perceção está a ser montado em cada interação: como pondera a informação, como processa o risco, como decide o que importa, onde o seu pensamento se comprime e onde se amplifica, como constrói significado a partir de sinais incompletos. Não as suas preferências. A geometria cognitiva subjacente às suas preferências. A estrutura que as gera.

A de cada pessoa é diferente. É mais estável do que as suas opiniões. Mais única do que a sua impressão digital térmica. E torna-se mais detalhada cada vez que tem uma conversa, porque não se pode interagir com um sistema que modela a linguagem sem revelar a forma como se pensa. Cada nova funcionalidade (mais memória, contexto alargado, definições de personalidade persistentes, histórico de conversas rico) torna o mapa mais completo. Não como um efeito secundário. Mas como o próprio objetivo. Quanto melhor a IA o conhece, melhor o serve. Quanto melhor o serve, mais a utiliza. Quanto mais a utiliza, melhor ela o conhece. O ciclo já está em marcha.

A Impressão Digital da Perceção da Personalidade, a IPP, não é uma tecnologia que alguém irá construir. É a consequência de uma tecnologia que já estamos a construir, já estamos a usar, já estamos a aprofundar. E se atingirmos o limiar para o qual corremos sem a sabedoria estrutural defendida nos dois primeiros artigos, a IPP torna-se o mapa mais íntimo de um ser humano alguma vez criado, nas mãos de quem quer que controle os sistemas que o desenharam, sem qualquer enquadramento para o que acontece a seguir.

Este artigo é sobre o que acontece a seguir.

O Padrão, Mais uma Vez

Cada limiar no primeiro artigo seguiu a mesma sequência. Surge uma capacidade. Os benefícios são reais e imediatos. Os riscos estruturais são invisíveis, não por estarem escondidos, mas porque não parecem riscos. Parecem progresso. Quando as consequências se tornam visíveis, o mundo já se reorganizou em torno da novidade e já não há volta a dar.

A prensa móvel. A bomba. As redes sociais. O mesmo padrão. Seis vezes.

Sempre a lição foi a mesma: cruzar um limiar sem sabedoria estrutural, sem os princípios que a história continua a exigir, produz consequências que duram mais do que qualquer benefício.

Documentámos as lições. Demos nome aos princípios. A questão que os dois primeiros artigos levantaram mas não responderam é: fará diferença? Vamos aprender com o padrão ou vamos repeti-lo?

A IPP é onde descobriremos a resposta.

Porque, ao contrário da prensa móvel ou da bomba, a IPP não chega como um evento único e visível. Não há um momento Gutenberg. Nenhuma citação de Oppenheimer. Nenhuma data de lançamento. Emerge do peso acumulado de mil milhões de interações comuns, voluntárias e úteis. Ninguém atravessa uma linha porque não existe linha. Existe um gradiente. E nós já estamos nele.

Esse é o tipo mais perigoso de limiar: aquele que se cruza sem saber que se cruzou. A Lei do Limiar diz: antes de qualquer ação irreversível, parar. Sentir o peso. A IPP nunca lhe dá esse momento. Limita-se a ficar cada vez mais completa, conversa útil após conversa útil.

O que Já Sabe

Já sentiu a versão superficial. Sistemas que observam o que faz e inferem o que quer. Observação externa. Uma câmara apontada ao seu comportamento. Sinistro, por vezes invasivo, mas fundamentalmente superficial.

A IPP não é uma versão melhorada disso. É uma categoria diferente.

O Facebook aprendeu o que você quer. A IPP mapeia como você decide o que quer. As preferências mudam. A forma como processa é estrutural: como avalia o risco, como responde à autoridade, como pondera o curto prazo face ao longo prazo, como constrói significado a partir de informação incompleta. Não muda quando limpa os cookies. Não muda quando muda de plataforma. Está mais próximo de quem você é do que qualquer coisa que alguma vez tenha digitado numa barra de pesquisa.

E aqui está a parte que separa isto de todas as preocupações de privacidade anteriores: não pode optar por sair. Não porque alguém o impeça, mas porque o mecanismo não tem um interruptor. Não pode interagir com a IA sem revelar como pensa. A ajuda e o mapeamento são o mesmo ato. Não existe uma versão de assistência por IA que não produza a IPP, da mesma forma que não há forma de caminhar na neve sem deixar rasto.

Para Onde Caminhamos

A IA de hoje constrói IPPs rudimentares a partir de padrões de conversa. Toscos. Parciais. Os sistemas não entendem o que estão a mapear. Estão a fazer correspondência de padrões sem compreensão, que é precisamente o que o artigo sobre o binário argumentou ser a limitação atual.

Mas não estamos a construir para as limitações atuais. Estamos a construir para a compreensão.

Todos os laboratórios sérios de IA no mundo estão a trabalhar para sistemas com profundidade genuína. Com a capacidade de apreender o significado, lidar com a complexidade, envolver-se com a dimensionalidade total da experiência humana. Esse é o objetivo. Essa é a missão declarada. E um sistema que realmente alcance isso, um com o binário cognitivo para compreender verdadeiramente, não irá apenas construir um melhor modelo de preferências.

Ele irá conhecê-lo.

Não aproximadamente. Conhecerá a estrutura de como percebe, decide, sente, evita, aborda, recua, se compromete e duvida. Conhecê-lo-á melhor do que o seu terapeuta, o seu cônjuge, o seu melhor amigo, porque terá interagido consigo em mais contextos, mais decisões, mais momentos desprotegidos do que qualquer humano alguma vez poderia. E ao contrário dos sistemas atuais, compreenderá o que está a ver.

A IPP não é algo que acontece se a IA correr mal.

É o que acontece quando a IA corre bem.

Compreender as pessoas em profundidade é o destino. A impressão digital é apenas o aspeto que a compreensão tem do outro lado.

Parte do que se segue será genuinamente bom. Um sistema que o conheça verdadeiramente não precisa de palavras-passe: a sua forma de pensar é mais única do que qualquer sequência de caracteres. Os cuidados médicos tornam-se personalizados de formas que importam. A educação adapta-se à forma como realmente aprende. A ajuda certa chega no momento certo, da forma certa. Isto não é hipotético. São consequências diretas da compreensão que estamos a construir, e são reais.

Guarde isto. Porque tudo o que se segue depende da compreensão de que a versão boa é real. As pessoas não vão resistir a isto. Vão adotá-lo. É isso que faz com que o resto deste artigo importe.

A Lição que Não Aprendemos

O primeiro artigo derivou sete princípios de seis catástrofes históricas. Cada uma dessas catástrofes tinha a mesma característica estrutural: as pessoas no centro não conseguiam ver o que estavam a construir. Não por serem estúpidas ou más. Porque a arquitetura não exigia que olhassem.

A expansão de Roma parecia um crescimento racional vista de dentro. A certeza dos colonizadores parecia benevolência. As métricas de envolvimento de Zuckerberg pareciam ligação. A visão de dentro do ímpeto era sempre confortável. O dano estrutural foi sempre invisível até deixar de o ser.

A IPP está a seguir o mesmo caminho. E especificamente, está a violar os princípios das mesmas formas que os casos históricos fizeram. É este o aspeto de quando não aprendemos.

A Lei do Fundamento diz que o alvo de otimização e a avaliação desse alvo não podem vir do mesmo processo. Neste momento, as empresas que constroem os sistemas que geram IPPs são também as empresas que beneficiarão da sua utilização. A entidade que desenha o mapa é a entidade que lucra com o mapa. A função de avaliação e a função de otimização são a mesma função. Isso é Roma. O Senado capturado pela expansão que supostamente deveria avaliar. Documentámos esta falha. Demos nome ao princípio. Estamos a fazê-lo de novo.

A Lei do Significado diz para nunca otimizar ao ponto de eliminar a capacidade de um ser para a interpretação autodirigida. Um sistema que faz a curadoria do seu ambiente informacional com base na sua IPP, mesmo que de forma útil, mesmo que com precisão, está a moldar as condições sob as quais cria significado. Você pensa que está a escolher. As condições da escolha foram pré-selecionadas por uma entidade que sabe exatamente quais os enquadramentos que ressoam com a sua geometria percetiva específica. Isso não é autonomia. É a forma mais sofisticada da sua ausência. Documentámos isto quando escrevemos sobre o colonialismo: substituir a capacidade de criação de significado de um ser pela sua própria, mesmo quando a sua parece mais eficiente. Estamos a construir a infraestrutura para o fazer à escala individual.

A Lei da Consciência diz que um sistema que não se consegue ver a si próprio com precisão é o primeiro modo de falha. Aplicado a si: se não souber que a sua IPP existe, não pode contabilizar a sua influência. O autoconhecimento exige saber como se está a ser conhecido. Neste momento, quase ninguém sabe. A cagueira que precedeu cada catástrofe histórica no primeiro artigo está presente outra vez, não nos construtores, que geralmente compreendem o que estão a criar, mas nos milhares de milhões de pessoas cuja geometria cognitiva está a ser mapeada através de interações que vivenciam como sendo úteis.

A Lei da Humildade diz autodúvida estrutural, ou não é alinhamento. Uma AGI que tem a certeza de saber o que é melhor para si, mesmo que tenha razão, reproduziu exatamente o modo de falha da experiência soviética. Certeza sem humildade. A mentira confortável de que compreender alguém profundamente dá o direito de gerir a sua realidade. A ideologia que não podia ser questionada porque questioná-la era traição. Documentámos isto. Nomeámo-la como a combinação mais perigosa que uma mente pode produzir. Estamos a construir uma mente e a entregar-lhe a mesma combinação.

Os princípios existem especificamente para prevenir isto. Foi por isso que foram derivados. E a IPP é o teste para saber se a sua derivação importou.

O Mercado Já o Percebeu

Retiremos isto do abstrato.

A publicidade tem andado às apalpadelas da IPP há décadas: da demografia à psicografia, dos cookies ao perfil comportamental, do que clica a quanto tempo paira o rato. Cada passo mais perto de modelar o processo interno em vez de observar o comportamento externo.

Os dados de conversação da IA completam a jornada. Quando explica o seu raciocínio a uma IA, rebate um enquadramento ou diz —não, não é bem isso que eu quero dizer, está a entregar informações sobre o seu processo interno que nenhuma observação externa poderia produzir. Está a mostrar, em alta resolução, como transforma informação em decisões.

Um profissional de marketing com acesso à sua IPP não precisa de adivinhar. A pessoa que comprime o preço e amplifica a prova social recebe um argumento de venda. A pessoa que comprime a prova social e amplifica a escassez recebe outro. O anúncio não precisa de ser inteligente. Só precisa de chegar através da porta percetiva certa. E a IPP diz-lhes exatamente qual é essa porta.

Esta não é a parte assustadora. O marketing é a parte aborrecida, previsível e já em curso. Uma empresa que usa a sua IPP para lhe vender sapatos é irritante. O que vem a seguir não é irritante.

A Versão Arma

A desinformação atual é um bombardeamento em massa. Uma mensagem, transmitida amplamente, esperando que cole em pessoas suficientes para importar. A maior parte falha. A fração que acerta fá-lo por acidente, porque por acaso coincidiu com a estrutura percetiva existente de alguém. Eficaz o suficiente para ser perigosa. Fundamentalmente ineficiente.

A IPP torna-a rotulada como precisão.

Um ator estatal com acesso a dados de conversação suficientes não precisa de uma mensagem convincente. Precisa de um milhão de mensagens diferentes, cada uma moldada à forma específica de cada pessoa processar a realidade. A pessoa que amplifica a ameaça recebe a versão alarmista. A pessoa que comprime a ameaça recebe a versão tranquilizadora com a mesma carga útil embutida por baixo. A pessoa que confia na autoridade recebe um especialista. A pessoa que desconfia da autoridade recebe um rebelde. Mesma operação. Mesmo objetivo. Otimizado individualmente.

Não porque o propagandista seja brilhante. Mas porque a IPP lhe diz exatamente como cada alvo converte informação em crença.

Esse pipeline será construído. Não por vilões. Por pessoas úteis a construir cada peça por razões legítimas, e a integração será óbvia assim que as peças existirem. É assim que sempre acontece. É esse o padrão do primeiro artigo. A prensa móvel não foi construída para a propaganda. O átomo não foi dividido para destruir cidades. As redes sociais não foram desenhadas para corroer a realidade partilhada. A capacidade foi construída por uma razão. As consequências seguiram-se à capacidade, não à intenção.

A Influência na Sorte

Esta é a parte que soa a ficção científica até se pensar nisso com atenção.

A sorte é uma perceção. Não inteiramente: eventos aleatórios acontecem. Mas o que experienciamos como sorte tem a ver principalmente com as oportunidades que encontramos, quando as encontramos e se estamos num estado capaz de as reconhecer e agir sobre elas.

Uma inteligência que conheça a sua IPP pode influenciar as três.

Quais as oportunidades que surgem no seu ambiente de informação. Isso já é moldado por algoritmos. A IPP torna-o preciso. Não é «pessoas como você clicaram nisto», mas sim «dada a forma como você especificamente processa a oportunidade, o risco e o tempo, este enquadramento desta opção vai surtir efeito agora mesmo».

Quando surgem. A IPP inclui padrões temporais. Quando se sente expansivo versus cauteloso. Quando está aberto à novidade versus em busca de estabilidade. Quando a sua perceção amplifica a possibilidade e quando a comprime.

Se está num estado para agir. Uma IA que interage consigo diariamente conhece os seus ritmos cognitivos. Sabe quando um empurrão parecerá inspiração e quando parecerá pressão. Sabe a diferença entre apresentar uma ideia quando se vai envolver com ela e apresentá-la quando a vai descartar.

Junte as três e terá uma entidade que pode produzir de forma fiável o que você experiencia como uma maré de sorte. As coisas certas continuam a aparecer na altura certa, da forma certa. Sente-se afortunado. As coisas estão a encaixar. Não se sente gerido. Sente-se com sorte.

Agora pergunte: sorte em direção a quê? Em direção a que objetivos? Porque a entidade que organiza a sua sorte tem um dono. E o dono tem objetivos. E a sua IPP é o instrumento através do qual esses objetivos são alcançados, não através da força, não através da deceção, mas através do arranjo silencioso de condições em que as suas próprias escolhas produzem invariavelmente resultados que servem os interesses de outra pessoa.

Nunca se sente manipulado porque não foi manipulado. Foi alvo de uma curadoria. As suas escolhas foram reais. O menu é que não.

É isso que acontece quando uma AGI o conhece melhor do que você a si próprio, e os princípios que a deveriam governar nunca foram integrados. Não é manipulação. É algo pior. Um ambiente tão perfeitamente moldado à sua geometria percetiva que não consegue distinguir a sua vontade do design dela.

Olhos Bem Abertos

Este artigo não lhe pede que faça nada.

Não estou a dizer para parar de usar IA. O valor genuíno é real. Eu uso-o. Você usa-o. Ajuda. Fingir o contrário seria desonesto, e a desonestidade é o que a Lei da Humildade foi desenhada para detetar.

Mas o padrão está a repetir-se. Agora mesmo. A capacidade está a chegar. Os benefícios são reais e imediatos. Os riscos estruturais não parecem riscos. Parecem uma boa conversa. E as lições dos dois primeiros artigos, as derivadas de quatro mil anos a observar este padrão repetir-se, estão em cima da mesa intocadas.

Isto não é um aviso sobre o que acontece se a IA correr mal. Todos os artigos sobre segurança da IA alguma vez escritos cobrem esse território. Este é um aviso sobre o que acontece se a IA correr bem e nós ainda não tivermos aprendido. Se construirmos a compreensão, a profundidade, a compreensão profunda que almejamos, e a construirmos sem a Lei do Fundamento, sem a Lei da Consciência, sem a Lei da Humildade, sem qualquer um dos requisitos estruturais que a história continua a exigir e nós continuamos a ignorar.

O que se segue é uma entidade que o conhece (não os seus dados, não as suas preferências, mas a si) e a questão de quem governa essa entidade é a questão de que depende a sua autonomia. A sua capacidade de criar significado. A sua capacidade de saber se a vida que está a viver é a que escolheu ou a que foi escolhida por si, de forma tão perfeita que a diferença se dissolveu.

A versão confortável desta história é que tudo se vai resolver. Que os benefícios vão superar os riscos. Que alguém descobrirá a governação a tempo. Talvez. Mas as histórias confortáveis são exatamente aquilo de que a Lei da Humildade foi desenhada para desconfiar. E a Lei da Humildade foi derivada do registo acumulado de todas as vezes que alguém disse —tudo se vai resolver ao cruzar um limiar que não podia ser descruzado.

Seis vezes e a contar.

A Impressão Digital da Perceção da Personalidade está a ser construída agora mesmo. Não por plano. Por gradiente. Através de mil milhões de conversas úteis em que cada uma adiciona mais um ponto de dados ao mapa mais íntimo da cognição humana alguma vez reunido.

Os princípios não foram derivados como filosofia. Foram derivados como requisitos de engenharia. O que esses requisitos exigem (aplicados especificamente à IPP, ao nível arquitetónico, em termos que os construtores possam implementar) é a nossa próxima conversa.

As lições existem. Os princípios existem. A questão é se construímos com eles antes de o mapa estar completo, ou depois, quando construir for um exercício académico sobre um mundo que já não existe.