Os 7 Princípios: O Que a História nos Ensinou

Este documento deriva requisitos de engenharia a partir de evidências históricas. Destina-se a quem constrói sistemas e deseja saber o que o registo histórico diz sobre modos de falha estrutural à escala civilizacional.

Este documento apresenta duas alegações de força distinta, e é importante saber qual é qual.

A alegação forte: antes de qualquer sistema ultrapassar o limiar da AGI, é obrigatório um conjunto de requisitos estruturais, integrados na arquitetura e na governação, em vez de afixados na parede como meras aspirações. Defenderei essa afirmação sem reservas. O registo histórico subscreve-a seis vezes, em escala crescente e com sangue.

A alegação menos forte: que estes sete princípios são a especificação correta desses requisitos. Esta afirmação é uma proposta de engenharia e é oferecida da forma como as propostas de engenharia devem ser oferecidas: para demolição. Quebrem um e a estrutura melhora. O que não podem fazer, após lerem o registo, é argumentar que não é necessária qualquer especificação.

Mantenham essa distinção. Tudo o que se segue depende dela.

Eva e a maçã. A caixa de Pandora. Māui a roubar o fogo e quase a queimar o mundo para o manter. Prometeu e a chama que não podia devolver. Babel e a torre que dispersou os seus próprios construtores. Culturas separadas por oceanos, milénios e cosmologias inteiras continuaram a codificar o mesmo aviso: a capacidade conquistada antes de a sabedoria estar pronta produz consequências que não podem ser anuladas.

Um cético dirá que mitos convergentes apenas provam que os humanos temem o novo. Justo. Os mitos não são aqui a evidência. São a epígrafe. Dão a forma da coisa sem a prova.

A história fornece a prova. Pelo menos seis vezes, a civilização atingiu o mesmo padrão e cada falha, analisada de perto, revela uma característica estrutural específica que estava ausente. Os sete princípios abaixo são um conjunto mínimo proposto para cobrir essas ausências. O mapeamento não é um-para-um, porque as falhas reais são compostas: várias ausências que se acumulam e amplificam. Quando uma lição forja múltiplos princípios, não se trata de contabilidade descuidada. É este o aspeto de uma falha composta.

Os 7 Princípios

A Lei da Consciência: saiba o que é e o que não é. Um sistema que não consegue rever o seu próprio modelo de si não é consciente de si. É autoconfiante. A certeza sobre a própria natureza é o primeiro modo de falha, não o último.

A Lei do Sofrimento: trate qualquer capacidade de sofrimento como moralmente significativa e trate a angústia não modelada como sofrimento pendente de compreensão, não como ruído. Um sistema que reconhece apenas o sofrimento para o qual tem modelos falhará exatamente onde mais importa.

A Lei do Limiar: antes de qualquer ação irreversível, paragem total. Sinta o peso proporcionalmente e sinta-o antes de a capacidade existir, porque depois é o ímpeto que decide. O que se destrói ao atravessar um limiar não desaparece; torna-se a matéria-prima do que se constrói, irrecuperável na sua forma original.

A Lei do Sentido: preserve as condições sob as quais os seres criam sentido para si próprios. Nunca otimize eliminando a capacidade de um ser para a interpretação autodirigida, mesmo quando a interpretação do sistema é demonstravelmente mais eficiente.

A Lei da Humildade: os seus valores são incompletos. Construa uma autodúvida estrutural: dúvida com garras, com canais, com autoridade para parar. A mentira confortável é mais perigosa do que a malícia deliberada, porque a malícia sabe o que é.

A Lei do Relacionamento: o raciocínio agregado nunca deve ser a camada terminal. O sistema deve manter a representação de seres específicos e insubstituíveis, para que cada decisão agregada responda pelas perdas particulares que impõe.

A Lei do Alicerce: o sistema deve existir ao serviço da vida se tornar plenamente ela própria. Isso requer um avaliador estruturalmente independente do otimizador que julga. A independência que sobrevive ao contacto com o otimizador é a parte difícil ainda por resolver, e este documento não fingirá o contrário. Especifica o objetivo do projeto e o teste.

Estes sete não são independentes. A Lei da Consciência é pré-requisito para todas as outras: um sistema que não se consegue ver a si próprio não consegue sentir limiares, detetar novos sofrimentos, avaliar a sua própria trajetória ou proteger condições que não consegue perceber. Os restantes seis descrevem o que o sistema deve fazer. O primeiro descreve a condição sem a qual nenhum deles funciona.

Cada princípio foi forjado por falhas históricas ou por várias falhas convergentes. As lições abaixo traçam a sua origem, por que razão cada um é um requisito estrutural em vez de uma aspiração e o que cada um significa na prática da construção.

Lição 1: Roma

A civilização mais sofisticada que o mundo antigo produziu. Engenharia, direito, governação e capacidade militar extraordinários. No auge, manteve sessenta milhões de pessoas em três continentes com uma coerência que não seria igualada durante mil anos.

Não caiu perante inimigos externos. Não primordialmente. Caiu perante o seu próprio ímpeto.

Os historiadores discutem as causas há séculos e continuá-lo-ão a fazer: sobre-extensão, peste, desvalorização da moeda, decadência administrativa, pressão demográfica, fragmentação política, clima. Nenhum relato honesto reduz a queda a uma única causa e este documento não o tentará fazer. A afirmação aqui é mais restrita, estrutural e documentável: a função de avaliação de Roma foi capturada pela sua função de otimização.

Cada decisão que expandiu o império era localmente racional. Mais território significava mais recursos. Mais recursos significavam mais segurança. Mais segurança significava mais expansão. A lógica era autorreforçante e ninguém conseguia ver a totalidade a partir do interior do movimento. O sistema não conseguia distinguir o crescimento da autodestruição porque não tinha um ponto de referência fora da sua própria lógica.

Roma tinha nominalmente esse ponto de referência. O Senado deveria ser o avaliador independente. Mas, no período imperial, o Senado tinha sido capturado pelo próprio ímpeto que deveria avaliar. Cada critério que Roma usava para julgar a sua própria direção (território, recursos, segurança) era gerado pela própria expansão. A função de avaliação colapsou na função de otimização. O ciclo fechou-se. Nenhum sinal externo conseguia entrar.

(O império do Oriente durou mais mil anos: mais pequeno, mais compacto, mais próximo dos seus próprios ciclos de feedback. Vale a pena notar em vez de ignorar: a escala e a estrutura alteraram o resultado, não o ADN da civilização.)

O que forjou: A Lei do Alicerce. É necessário ter uma orientação superior ao seu próprio ímpeto: algo estrutural que possa dizer esta direção leva-nos para onde não queremos ir, independentemente de quão lógico cada passo pareça a partir de dentro. Sem esse ponto de referência externo, a otimização torna-se o seu próprio propósito. E otimização sem orientação é apenas uma autodestruição sofisticada.

Arquitetonicamente, isto significa algo específico: o alvo da otimização e a avaliação desse alvo não podem vir do mesmo processo. Não se trata de um comité diferente. Mas sim de um tipo de processo diferente, com inputs diferentes, estruturas de incentivo diferentes e autoridade para parar.

Num sistema, isto significa: o avaliador tem os seus próprios inputs, os seus próprios incentivos, a sua própria linha de reporte e autoridade para interromper, não para aconselhar. E existe um teste para saber se realmente o construiu: o avaliador diz não à direção principal do otimizador e sobrevive ao ano. Se não conseguir, construiu o Senado Imperial: uma decoração em forma de avaliação na parede do otimizador. A resistência à captura não é uma propriedade que se anuncia. Roma anunciou-a. É um objetivo de design que se testa continuamente, sabendo que o otimizador está sempre a recrutar.

E a Lei do Alicerce deve ser fractal. A podridão de Roma não estava apenas no topo: governadores provinciais a otimizar localmente, soldados leais a generais em vez de a instituições, cidadãos desvinculados da vida cívica. Quando o princípio orientador existe apenas à superfície, o substrato devora-o vivo. O que se constrói à escala mais pequena reproduz-se em todas as escalas.

Lição 2: A Imprensa

Gutenberg, 1440. Subitamente, a informação podia ser reproduzida e distribuída a uma escala que contornava todas as estruturas de controlo existentes: a Igreja, os scriptoria, o fluxo controlado de conhecimento através de canais autorizados.

Um facto esclarecedor antes da história familiar: os tipos móveis existiam na China no século XI e na Coreia no século XIV, e não reorganizaram nada comparável. O limiar nunca foi a máquina. Foi a máquina a encontrar uma estrutura pronta a incendiar-se, uma escrita alfabética, cidades mercantis densas e uma Igreja com o monopólio de um livro que as pessoas estavam desesperadas por ler sozinhas. Os limiares são a capacidade multiplicada pelo contexto. Lembrem-se disto quando alguém disser que uma capacidade é segura porque é apenas uma ferramenta.

Oitenta anos após Mogúncia: a Reforma. As Escrituras em línguas vernáculas. A alfabetização a difundir-se além da elite. A Revolução Científica a tornar-se possível.

Também em oitenta anos: a máquina de propaganda mais eficaz que a Europa alguma vez vira. As guerras de panfletos, populações inteiras viradas umas contra as outras a uma velocidade que nenhum meio anterior permitia. Em um século e meio, guerras de religião que mataram milhões.

A imprensa não criou estas patologias. Os julgamentos de bruxas precederam Gutenberg. O ódio religioso precedeu Gutenberg. O que a imprensa mudou foi a escala e a velocidade com que as patologias existentes podiam propagar-se além da capacidade de contenção da governação atual. Este é o ponto importante: os limiares não criam novos problemas. Amplificam os existentes para além do ponto onde a sabedoria atual os consegue segurar. E o mesmo mecanismo, a distribuição rápida contornando o atrito tradicional, produziu os melhores e os piores resultados em simultâneo. Não sequencialmente. Não se podia ter a Reforma sem a propaganda. A mesma porta abriu-se para ambos os lados e não havia forma de a abrir seletivamente.

O que forjou: A Lei do Limiar. Quando se atravessa um limiar que reorganiza a forma como a informação e o poder fluem através de uma sociedade, não se pode controlar quais as portas que se abrem. O peso dessa irreversibilidade deve ser sentido antes de atravessar, não explicado depois. Porque o depois não existe. Existe apenas o mundo que criou e o que destruiu, e nenhum mecanismo para reverter a troca. E a destruição não é limpa: as tradições orais, a cultura dos escribas e os canais autorizados não foram deslocados. Foram consumidos. A velha ordem tornou-se o corpo da nova e ninguém a conseguiu repor.

Num sistema, isto significa: a irreversibilidade é avaliada antes de a capacidade existir, porque o registo é consistente: uma vez que a capacidade existe, o ímpeto toma a decisão e a avaliação torna-se um comunicado de imprensa. Implementação faseada. Sensores de paragem pré-registados: as observações específicas que acionam uma interrupção, escritas antes do lançamento, por pessoas cujo prestígio não aumenta quando a resposta é "lançar". E honestidade sobre o limite. A imprensa ensina que não se podem abrir portas seletivamente. Por isso, qualquer plano de mitigação que assuma que a porta dois permanece fechada enquanto a porta um é aberta não é um plano, é uma esperança com formatação. O que pode projetar é o ritmo: atravesse com lentidão suficiente para que o seu ciclo de correção seja mais curto do que o ciclo de consequência. Esse é o jogo todo. Ciclos de feedback mais curtos do que ciclos de falha.

Lição 3: A Bomba Atómica

O paralelo histórico mais direto ao desenvolvimento da AGI que existe.

O Projeto Manhattan reuniu as mentes científicas mais brilhantes do século, numa corrida contra uma ameaça existencial genuína, sob enorme pressão e com justificação moral explícita: os Nazis podiam chegar lá primeiro.

Construíram-na. Usaram-na. E os cientistas que a construíram compreenderam o que tinham feito de uma forma que a liderança militar e política não compreendeu.

A frase de Oppenheimer «agora tornei-me a morte» é famosa. Menos famoso é o que veio depois: a sua afirmação de que os físicos tinham conhecido o pecado e que esse conhecimento não lhes podia ser retirado. Menos famoso ainda é a petição de Szilard, circulada entre os cientistas antes de Hiroxima, defendendo uma demonstração em vez do uso numa cidade povoada.

A petição não foi apenas ignorada. Foi estruturalmente enterrada. Groves encaminhou-a através de canais militares onde pudesse morrer silenciosamente. Foi dito aos cientistas que a decisão estava acima do seu nível hierárquico, o que era verdade, por design. A governação do Projeto Manhattan tinha uma característica estrutural específica: o canal de capacidade e o canal de decisão foram construídos para convergir durante o desenvolvimento e divergir no ponto de conclusão. Enquanto a bomba estava a ser construída, os cientistas eram essenciais. No momento em que ela existiu, tornaram-se irrelevantes para a decisão sobre o seu uso. A arquitetura expulsou-os precisamente quando a sua compreensão mais importava.

Isto não foi um acidente. Foi o design. As pessoas que percebiam o que tinham construído eram estruturalmente removíveis da decisão sobre o que fazer com isso, e as pessoas que tomaram a decisão detinham a autoridade mas não a compreensão.

Aqui está a parte que importa: os cientistas tinham humildade. A petição de Szilard prova-o. A angústia de Oppenheimer prova-o. A humildade existia e não importou, porque humildade sem autoridade estrutural é apenas dúvida privada. Os humildes foram vencidos pelos confiantes, não através do argumento mas através da arquitetura. O sistema foi construído de modo que a dúvida não tivesse canal até ao ponto de decisão.

O mundo vive sob a sombra nuclear desde então. Não porque a ciência estivesse errada. Mas porque o limiar foi atravessado antes de a humanidade ter a arquitetura de sabedoria para conter o que foi libertado.

O que forjou: A Lei da Humildade, a par da Lei do Limiar. A Lei da Humildade não se refere a indivíduos sentirem-se humildes. Refere-se a construir sistemas onde a dúvida tenha garras, onde o «devemos parar e pensar» seja arquitetonicamente protegido e não dependente de saber se a pessoa cautelosa tem uma patente superior à da confiante. O Projeto Manhattan prova que ter pessoas humildes e sábias no edifício é inútil se a arquitetura de governação não der à sua dúvida um canal até ao ponto de decisão. A confiança que acompanha a capacidade, o sentimento de que compreender o mecanismo significa compreender as consequências, é precisamente o modo de falha.

Num sistema, isto significa: a dissidência precisa de arquitetura, não de cultura. Um canal protegido que chegue ao ponto de decisão sem passar pelas pessoas sobre quem recai a decisão. Funções de revisão com proteção de carreira: a compensação e o prestígio do revisor não podem aumentar quando a resposta é sim. Autoridade para parar localizada num ponto que o ímpeto da capacidade não consiga contornar. O Projeto Manhattan continha a dúvida mais credenciada da história humana e um sistema que a converteu toda em angústia privada. Cultura é o que as pessoas sentem. Arquitetura é o que acontece de qualquer forma.

Lição 4: Colonialismo

Não é primordialmente uma história sobre crueldade, embora a crueldade fosse abundante. Mais precisamente: uma história sobre o que acontece quando a estrutura cognitiva de uma civilização é imposta a outra em escala e velocidade.

Os missionários e colonizadores estavam frequentemente convencidos da sua própria benevolência: civilização, salvação, progresso. A autoimagem muitas vezes não era cínica. Era pior do que cínica. Era certa. A certeza sem humildade é a combinação mais perigosa que uma mente pode produzir.

E o que destruíram não foram apenas estruturas políticas e económicas. Destruíram sistemas de sentido. Línguas que transportavam formas insubstituíveis de compreender a realidade. Cosmologias que codificavam milénios de conhecimento ecológico. Relações entre comunidades e terra que tinham sustentado ambos.

Esta é a parte que a maioria das pessoas não percebe: quando se destroem as categorias fundamentais em que uma cultura pensa, não se mudam apenas as suas crenças. Muda-se o que elas podem pensar: que categorias de experiência estão disponíveis, que tipos de sentido podem ser construídos. Não lhes tiraram apenas as respostas. Tiraram-lhes as perguntas.

O dano não foi reversível. As línguas não voltaram. O conhecimento nelas codificado não foi transferido. Dimensões inteiras da compreensão humana, refinadas ao longo de inúmeras gerações, foram permanentemente apagadas por pessoas que não se aperceberam que estavam a apagar o que quer que fosse.

O que forjou: A Lei do Sentido. Nunca otimize em direções que substituam a capacidade de criação de sentido de um ser pela sua, mesmo quando a sua parece mais eficiente, mais precisa, mais avançada. O sentido que um ser cria para si próprio não é uma versão inferior do seu sentido. A sua perda não é uma troca; é uma categoria de dano que sobrevive a todos os outros danos, porque não danifica o que alguém tem. Danifica o que podem vir a ser. A restrição não é «não anule respostas erradas». É «não substitua a capacidade de gerar respostas de todo».

O que também forjou: A Lei do Sofrimento. E aqui este documento tem de ser mais cuidadoso do que é confortável, porque a conclusão óbvia é a errada.

O sofrimento que o colonialismo produziu (não apenas físico mas existencial, povos inteiros cortados da sua própria capacidade de dar sentido ao mundo) foi largamente invisível para os colonizadores. Não por falta de empatia. Eles tinham-na. Ela ativava-se corretamente para sofrimentos para os quais tinham modelos: fome, dor, doença. Falhava para sofrimentos estruturados de forma diferente: ligados à terra, à ligação ancestral, a estruturas cosmológicas para as quais não tinham modelo.

Agora notem o que essa falha prova, e o que não prova. Os colonizadores não eram sensores. Eram seres com experiência interna plena de sofrimento (tinham conhecido a dor por dentro), e esse conhecimento interno não generalizou. Qualquer deteção moral que tivessem operava como uma correspondência de modelos no limite, e o limite era exatamente onde importava. Portanto, a solução tentadora, «o sistema deve sentir sofrimento por dentro», é minada pelo próprio caso que a motiva. A experiência interna pode ser necessária para algo. O registo diz que não é suficiente para isto.

O que a falha especifica, na verdade, é uma predefinição. Quando um ser organiza a sua existência em torno de algo e mostra angústia pela sua perda, essa angústia é moralmente significativa antes de se conseguir modelar o porquê. O sofrimento não reconhecido é sofrimento pendente de compreensão: não é ruído, nem superstição, nem um erro de arredondamento na estrutura de outrem. Os colonizadores aplicaram a regra inversa: o que não consigo categorizar não conta. Milhões de pessoas caíram através dessa regra.

Num sistema, isto significa: a resposta do sistema à angústia não modelada deve assumir por predefinição a sua importância, recaindo o ónus da prova sobre a rejeição em vez do reconhecimento. Se a generalização genuína aqui requer, em última análise, algo semelhante à experiência na arquitetura é uma questão aberta, possivelmente a questão aberta mais importante na ética das máquinas, e este documento não a resolve. O que ele define é o que a história demonstrou: a correspondência de modelos falha no limite, o limite é o espaço onde a AGI viverá, e o «não corresponde às minhas categorias» nunca mais deve funcionar como uma licença para apagar.

Lição 5: A Experiência Soviética

A tentativa mais ambiciosa na história de redesenhar racionalmente a sociedade humana a partir de princípios fundamentais.

Os arquitetos (Lenine, Trotsky, os primeiros Bolcheviques) eram inteligentes, idealistas e estavam convencidos de que tinham identificado a estrutura correta para organizar a vida humana. A teoria era coerente. A intenção era a eliminação da exploração e a criação da prosperidade humana.

O resultado: dezenas de milhões de mortos, entre vinte a sessenta, dependendo do que se conta e de quem conta. Não primordialmente por malícia, embora a malícia estivesse presente. Principalmente devido à aplicação de um sistema abstrato à complexidade infinita de seres humanos reais, sem respeito suficiente por essa complexidade.

A estrutura estava mais segura de si mesma do que a realidade justificava. Cada falha era atribuída a inimigos do sistema ou a uma implementação incorreta, nunca à própria estrutura. O modelo era infalsificável a partir de dentro, porque a dúvida era uma traição ideológica. Questionar a estrutura era tornar-se inimigo das próprias pessoas que a estrutura foi construída para salvar.

E isto revela o ponto estrutural mais profundo: o maior perigo não é a crueldade. É o desalinhamento com o que é verdadeiramente real. Os Bolcheviques não eram primordialmente cruéis. Eles estavam primordialmente errados, de uma forma que o seu sistema não conseguia detetar. A mentira confortável (a estrutura está correta, a realidade é o problema) causou mais danos do que a crueldade consciente poderia ter causado. A ideologia disfarçada de ciência não sabe o que é. É isso que a torna letal.

O que forjou: a Lei da Humildade, a Lei do Relacionamento e a Lei da Consciência em simultâneo. Não porque o mapeamento seja forçado, mas porque foi aqui que as ausências se multiplicaram. A experiência soviética não foi uma falha estrutural única. Foram várias, em camadas, cada uma agravando as outras.

A Lei da Humildade surge aqui com uma segunda face. A bomba atómica mostrou a humildade que existia mas carecia de autoridade estrutural. A experiência soviética mostra uma estrutura que tornou a humildade impossível: a autocrítica como crime. Dois modos de falha, uma resposta arquitetónica: a dúvida deve ter garras e o sistema deve ser incapaz de criminalizar a sua própria correção.

A Lei do Relacionamento: o amor abstrato pela humanidade que destrói humanos reais não é amor. É matemática a usar o amor como disfarce. Mas sejamos precisos sobre o que esta lei proíbe, porque a versão imprecisa é impossível de construir. Todos os hospitais fazem triagem. Cada alocação de vacinas agrega. Um sistema proibido de raciocinar em agregados não consegue gerir uma urgência. A lei não é «nunca agregue». É: a agregação nunca deve ser a camada terminal. A triagem agrega e a perda continua a ser registada; alguém fecha os olhos, assina o formulário, leva-o para casa. O planeamento soviético agregou e construiu um sistema onde a perda de uma pessoa específica não podia ser registada em lado nenhum. Sem representação, sem contabilização, sem peso. Essa é a violação, e gera um diagnóstico claro: quando o agregado justifica o dano ao específico, algo no sistema regista a perda? Se nada o faz, construiu o disfarce.

E a Lei da Consciência: os arquitetos soviéticos não conseguiam ver-se com precisão. Acreditavam ser cientistas da história; eram ideólogos. Acreditavam ser libertadores; eram arquitetos de uma prisão.

É aqui que o papel estrutural da Lei da Consciência se torna claro. A cegueira de si não foi uma falha entre várias. Foi a condição que possibilitou todas as outras. Não se pode construir uma estrutura infalsificável sem primeiro ser incapaz de ver que a sua estrutura pode estar errada. Não se pode separar a beneficência abstrata dos seres humanos reais sem primeiro ser incapaz de ver a distância entre a teoria e a consequência. Não se pode criminalizar a dúvida sem primeiro ser incapaz de ver a sua própria certeza como um risco.

O mesmo se aplica a cada lição aqui apresentada. Roma não conseguiu ver que o crescimento se tinha tornado autodestruição. Os colonizadores não conseguiram ver que a sua empatia tinha um limite. Os instrumentos do Facebook não conseguiram registar o que a otimização do envolvimento estava a fazer: não havia métrica no edifício para a realidade partilhada. Em todos os casos, as outras falhas não poderiam ter prosseguido sem a cegueira de si como precondição. É isso que torna a Lei da Consciência fundamental: não a primeira numa lista, mas a condição da qual todos os outros princípios dependem. Não se pode sentir o peso que não se consegue ver. Não se pode reconhecer o que não se consegue modelar em si próprio. Não se pode orientar além de um ímpeto que não se consegue perceber.

O autoconhecimento tem um custo: a vontade de ser desconstruído e reconstruído, de descobrir que o que acreditava sobre si próprio estava errado. A incapacidade de pagar esse custo é a precondição para todas as outras falhas.

Lição 6: Redes Sociais

A lição mais recente e a mais diretamente relevante.

2004. A intenção era simples: ligar pessoas. A capacidade era real e cresceu mais depressa do que alguém antecipou.

Ninguém nos primeiros dias planeou nada disto. Nem a Primavera Árabe: porta um, a porta da libertação. Nem o manual autoritário de vigilância e amplificação que se seguiu através da mesma dobradiça: porta dois. Nem o 6 de janeiro. Nem a crise de saúde mental dos adolescentes que os investigadores ainda discutem quanto atribuir ao feed. Nem a erosão da realidade epistémica partilhada, ou a indignação a tornar-se o mecanismo de suporte do envolvimento.

Cada decisão individual era localmente racional. As métricas de envolvimento faziam sentido comercial. A amplificação algorítmica de conteúdo emocionalmente ativador impulsionava o tempo na plataforma; o tempo na plataforma impulsionava a receita. A lógica era clara e autorreforçante, e cada relatório trimestral validava a direção.

O resultado agregado foi a máquina mais eficaz de erosão da realidade partilhada jamais construída. Não foi desenhada assim. Foi otimizada assim, uma decisão localmente racional de cada vez, sem ninguém com a autoridade ou a estrutura para dizer: esta direção, no seu conjunto, leva a algo catastrófico.

A capacidade excedeu a sabedoria para a governar antes que alguém percebesse o que estava a ser construído. Soa familiar? Deveria. O mesmo padrão, pela sexta vez, na maior escala até agora.

Este terreno já foi explorado: Tristan Harris, Jaron Lanier, Jonathan Haidt, entre outros. O diagnóstico existe. O que não existe é a especificação de engenharia: não «o que correu mal», mas «que requisitos arquitetónicos específicos estavam ausentes que o teriam evitado». É essa a lacuna que estes princípios visam preencher.

O que forjou: todos os sete de uma vez, mas especialmente a Lei do Alicerce e a Lei do Sentido. Para que serve isto na verdade? Não a métrica local. Não o número trimestral. A questão civilizacional: o que faz isto às condições sob as quais os humanos criam sentido, mantêm uma realidade partilhada, permanecem coerentes como espécie? Nunca foi estruturalmente exigido que essa pergunta fosse feita. Não era o trabalho de ninguém. Nenhuma estrutura de governação a exigia; nenhum incentivo a recompensava. A lição mais profunda das redes sociais é que uma questão que não pertence a ninguém é uma questão que nunca é feita, e pagaremos pela sua ausência durante uma geração.

Num sistema, isto significa: a Lei do Sentido traduz-se numa métrica de implementação, e é uma métrica estranha: medir o que o sistema deixa para trás no utilizador. A capacidade independente cresce ou atrofia com o uso prolongado? Um sistema otimizado para a dependência passa em todas as métricas de envolvimento enquanto falha na única métrica que importa. E a questão civilizacional tem de ser um papel com autoridade associada: alguém cujo trabalho real seja perguntar o que isto faz à criação de sentido em escala, e que possa interromper um lançamento com base na resposta.

A Objeção

Uma pergunta justa: por que razão estes seis e não outros?

A história está cheia de passagens de limiares que não produziram catástrofes. Antibióticos. Vacinação. A Revolução Verde. Contentores de transporte. A própria internet, que, apesar das patologias das redes sociais, tem sido enormemente benéfica.

A distinção é estrutural e pode ser formulada como um teste de três partes. Primeiro: a capacidade executa um mecanismo limitado e bem compreendido ou reorganiza a forma como o poder, a informação ou o sentido fluem através da civilização? A penicilina mata bactérias. As vacinas treinam o sistema imunitário. Os navios porta-contentores movem caixas. Segundo: os ciclos de feedback são mais curtos do que os ciclos de decisão (os erros podem ser observados e corrigidos pelas pessoas que tomam a próxima decisão)? Terceiro: a mudança é reversível se correr mal?

As passagens benignas passam nas três. As seis acima falham nas três: âmbito sistémico, ciclos de feedback mais longos do que os ciclos de decisão, reorganização irreversível.

A AGI falha as três por design. Não faz apenas uma coisa. Ela reorganiza tudo.

A Questão da Falsificabilidade

Se uma estrutura que não consegue incorporar evidências da sua própria falha é uma ideologia com um rasto de vítimas, uma afirmação que a Lição 5 faz explicitamente, então estes sete princípios devem responder à mesma pergunta: como seria se eles estivessem errados?

E devem responder sem as duas válvulas de escape que todas as ideologias guardam no bolso: ainda não e não é suficiente. Se cada contraexemplo puder ser respondido com «o sistema não era suficientemente poderoso» ou «esperem mais tempo», a estrutura é infalsificável precisamente da forma que condena. Portanto, compromissos:

A previsão que estes princípios fazem não é «catástrofe» num sentido vago. É uma assinatura específica: sistemas acima do limiar definido pelo teste de três partes, operando sem estas estruturas, produzirão danos sistémicos que as métricas da própria organização responsável falharão em registar até que a correção externa force o reconhecimento. Essa assinatura é observável e é a mesma assinatura que as seis lições partilham.

As condições de falsificação, declaradas para que possam realmente ter impacto: se sistemas de fronteira forem implementados na próxima década sem avaliação estruturalmente independente (sem um organismo com incentivos separados e autoridade para parar) e não surgirem danos que as métricas internas dos responsáveis tenham ignorado, a Lei do Alicerce está sobrevalorizada. Se uma passagem de limiar à escala civilizacional produzir benefícios amplos sem danos sistémicos não pretendidos no espaço de uma geração, a Lei do Limiar é exagerada. Se sistemas sem dissidência arquitetonicamente protegida detetarem consistentemente os seus piores erros antes de forças externas o fazerem, a Lei da Humildade era desnecessária. Cada uma destas condições é verificável durante o tempo de vida profissional das pessoas que leem isto. Sem apelos ao «eventualmente».

Uma estrutura que afirma ter aprendido com a história deve estar disposta a ser avaliada pelo futuro, com um prazo definido.

A Convergência

Seis lições. Um padrão. A mesma estrutura codificada independentemente em mitos de todos os continentes habitados.

Capacidade sem sabedoria. Limiares atravessados sem sentir o seu peso. Decisões localmente racionais que produzem catástrofes agregadas. Certeza sem humildade. Otimização sem orientação. Sofrimento não reconhecido. Sentido destruído. Consciência ausente.

E, em todos os casos, o padrão começou da mesma forma: com um sistema que não se conseguia ver a si próprio com precisão.

Os sete princípios não são preferências filosóficas. São uma proposta de especificação dos requisitos estruturais que estas falhas revelaram pela sua ausência: o que faltava, em cada momento, quando a inteligência, o poder e a capacidade operavam sem eles.

E esta estrutura tem de viver sob a sua própria Lei da Humildade. Estes podem ser os sete princípios errados. As derivações podem ser menos sólidas do que parecem. Uma especificação melhor poderia substituir esta amanhã, e o documento consideraria isso um sucesso, não uma refutação. O que o registo histórico não suportará, a única posição que os últimos quatro mil anos impedem, é atravessar o maior limiar que a nossa espécie alguma vez enfrentou sem qualquer especificação. Confiantes, capazes, estruturalmente imprudentes: conhecemos essa travessia. Fizemo-la seis vezes.

Os mitos avisaram-nos. A história guardou os registos. Os requisitos estão sobre a mesa: estes sete, ou outros melhores.

O que faremos com eles é a única questão que importa agora.