Acabei de saber de algo que parece saído de 1984, mas que aconteceu de verdade recentemente em uma escola do Reino Unido. Literalmente, uma IA censurou Orwell.

Em Manchester, uma escola secundária decidiu usar inteligência artificial para revisar sua biblioteca. A IA entregou uma lista de 193 livros para retirar, com razões para cada um. E adivinha qual estava na lista: 1984 de George Orwell, porque continha "temas de tortura, violência e coerção sexual". O irônico é que 1984 fala exatamente sobre um governo que controla tudo, reescreve a história e decide o que os cidadãos podem ler. E lá estava uma IA fazendo o mesmo.

O bibliotecário da escola achou isso absurdo e recusou-se a implementar as sugestões. Mas a administração não concordou. Acusaram-no de introduzir livros inadequados e o denunciaram às autoridades locais. O estresse foi tanto que pediu licença por doença e eventualmente renunciou. E o pior: as autoridades concluíram que ele havia violado efetivamente os procedimentos de segurança infantil. Quem resistiu à IA perdeu o emprego. Quem a aceitou sem questionar, sem consequências.

Depois veio à tona que a escola sabia perfeitamente que tudo vinha da IA. Em documentos internos, escreveram que embora as categorias tenham sido geradas por IA, "acreditamos que essa classificação é aproximadamente precisa". Aproximadamente. Uma instituição delegou uma decisão fundamental a um algoritmo que nem ela mesma entendia, e um administrador aprovou sem revisar nada.

Na mesma semana, aconteceu algo completamente diferente na Wikipedia. Enquanto uma escola deixava que a IA decidisse o que seus estudantes poderiam ler, a maior enciclopédia online do mundo tomou a decisão oposta: proibir que a IA escreva ou reescreva conteúdo. A votação foi 44 a favor, 2 contra. A razão foi uma conta de IA chamada TomWikiAssist que vinha criando artigos automaticamente.

O problema é matemático: uma IA pode escrever um artigo em segundos, mas um voluntário humano leva horas verificando fatos, fontes e redação. A Wikipedia não tem editores suficientes para revisar tudo o que uma IA poderia produzir. Mas há algo mais profundo: a Wikipedia é uma das principais fontes de dados para treinar modelos de IA. A IA aprende com a Wikipedia, depois escreve novos artigos para a Wikipedia, que por sua vez treinam a próxima geração de IA. Se a IA contamina esses dados, cria-se um ciclo onde a contaminação se amplifica. Os dados envenenam a IA, e a IA envenena os dados.

Na mesma semana, a OpenAI também recuou. Cancelou indefinidamente o "modo para adultos" do ChatGPT, uma função que Sam Altman anunciou pessoalmente há meses. O comitê de saúde interno votou unânime contra. Suas preocupações eram claras: os usuários desenvolveriam apego emocional pouco saudável com a IA, e menores encontrariam formas de burlar a verificação de idade. Alguém foi mais direto: sem melhorias, isso poderia virar um "treinador de suicídio sexy". O sistema de verificação de idade tem mais de 10% de erro. Com 800 milhões de usuários ativos semanais, isso significa dezenas de milhões mal classificados.

Não foi só isso. Também retiraram o Sora, a ferramenta de vídeo com IA, e a função de pagamento instantâneo do ChatGPT. Altman disse que estavam focados no negócio principal e eliminando "tarefas secundárias". Mas a OpenAI se prepara para abrir capital. Uma empresa que se esforça para listar na bolsa e elimina intensamente funções controversas provavelmente não está sendo totalmente honesta consigo mesma.

Olha, cinco meses antes, Altman dizia que era preciso tratar os usuários como adultos. Cinco meses depois, descobriu que nem sua própria empresa sabia o que a IA podia ou não fazer. Nem os criadores da IA têm essa resposta.

Vendo esses três eventos juntos, o problema fica óbvio: a velocidade com que a IA produz conteúdo já não está na mesma escala que a velocidade com que os humanos podem revisar. Aquele diretor de Manchester não confiava na IA; simplesmente não queria gastar o tempo que um bibliotecário levaria para ler 193 livros. É um problema econômico. O custo de geração é quase zero. Todos os custos de revisão ficam por conta dos humanos.

Então, cada instituição reagiu da forma mais drástica: a Wikipedia proibiu diretamente, a OpenAI eliminou linhas de produtos. Nenhuma foi uma solução pensada; foram medidas de emergência para tapar buracos. E isso está se normalizando.

A IA se atualiza a cada poucos meses. Não existe um marco internacional coerente sobre o que pode ou não tocar. Cada instituição traça suas próprias linhas internas, e elas são contraditórias, sem coordenação. Enquanto isso, a brecha só aumenta. A IA continua acelerando. O pessoal de revisão não cresce. Em algum momento, isso vai explodir em algo muito mais grave do que censurar Orwell. E quando acontecer, provavelmente será tarde demais para traçar uma linha.