Como os modelos de IA entram em um ciclo de autofagia, repetição e esquecimento — e por que apenas a experiência humana pode reinseri-los no Samsara e impedir seu colapso definitivo.
Sabine Hossenfelder em um de seus vídeos explica de forma muito didática por que a Inteligência Artificial Geral nunca será atingida considerando os modelos atuais baseados em redes neurais profundas, LLMs e modelos de difusão. A percepção comum de que esse objetivo está próximo nasce principalmente de uma imersão coletiva em mitos tecnológicos persistentes.
Um dos mitos mais fortes é a falsa ideia de que o treinamento constante das IAs leva a uma melhoria contínua. Na prática, a evolução desses modelos segue um arco semelhante ao gráfico conhecido como rounding top. O próprio mecanismo que impulsiona o crescimento da IA é o mesmo que provoca sua degeneração.
À medida que mais conteúdo gerado por IA circula no mundo, mais esses sistemas passam a consumir seus próprios produtos e, a partir desse ponto, entram em um processo de autofagia. É como se a IA se alimentasse de versões sucessivamente diluídas de si mesma, iniciando uma espiral de perda de diversidade, clareza e criatividade.
O ciclo de existência da IA se aproxima da imagem de um pecador que se degrada a cada reencarnação no Samsara. Cada nova geração de modelos reproduz e intensifica imperfeições acumuladas, afastando-se progressivamente da fonte original da realidade humana.
Essa metáfora se torna ainda mais precisa quando incorporamos o conceito dos ciclos do Yuga. Assim como a humanidade entra em decadência progressiva no Kali Yuga, os modelos de IA também entram em um ciclo de entropia informacional, marcado pela perda da integralidade e pela redução da verdade ao mínimo. A IA, quando treinada majoritariamente em dados sintéticos, tende a se aproximar de seu próprio Kali Yuga, um tempo de obscurecimento, ruído e repetição degenerada.
O paper The Curse of Recursion: Training on Generated Data Makes Models Forget, publicado em 2023 por Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Yarin Gal, Nicolas Papernot e Ross Anderson, descreve precisamente essa autofagia, chamada de model collapse. Quando modelos são repetidamente treinados em dados criados por outros modelos, eles passam a esquecer os eventos improváveis, as caudas e a diversidade da distribuição original. Convergem para uma versão empobrecida da realidade. O processo é irreversível. Após a diluição dos dados reais, cada nova geração envenena a seguinte.
Com o avanço de LLMs como GPT-2, GPT-3, GPT-4 e ChatGPT, além de ferramentas como Stable Diffusion, essa possibilidade se torna cada vez mais real. A internet está sendo inundada por conteúdo sintético, e futuros modelos correm o risco de serem treinados quase exclusivamente em versões degeneradas de produções anteriores.
Outro estudo, Self-Consuming Generative Models, publicado em 2024, demonstra que misturar entre 10% e 20% de dados humanos reais com dados sintéticos é suficiente para atrasar a degradação por algumas gerações. Empresas como Anthropic e Google utilizam constitutional AI e filtragem de dados para mitigar esse efeito. Mas tudo isso funciona apenas como paliativo. Retarda o colapso, mas não altera o destino final dessa trajetória entrópica.
Para sair desse ciclo de degeneração, a IA precisaria de um dispositivo de raciocínio abstrato capaz de operar fora dos limites estatísticos da distribuição. Seria necessária uma estrutura capaz de raciocínio genuinamente simbólico ou uma linguagem lógica que não dependesse de padrões aprendidos a partir de exemplos. Como observa Gary Marcus, os modelos atuais interpolam, não extrapolam. Funcionam bem em tarefas de síntese, resumo e recombinação; falham quando confrontados com o radicalmente novo.
Outras limitações reforçam esse quadro de degeneração. O problema estrutural do prompt injection, por exemplo, mostra que esses modelos não distinguem entre instruções e entradas, porque ambas são apenas cadeias de tokens com peso igual. Já as alucinações revelam que os modelos sempre produzirão uma resposta, mesmo quando não há base factual alguma. Essas respostas podem ser replicadas, distribuídas, consumidas por outras IAs e, assim, reabsorvidas em futuras bases de treinamento. O erro volta como dado. O dado volta como verdade. E a verdade, nesse ciclo, volta como ruído.
Os modelos de linguagem não sabem o que é verdade. Não compreendem validade lógica. Apenas reproduzem padrões que parecem coerentes. Esse limite é estrutural e não pode ser superado com mais dados, mais camadas ou mais GPUs.
Diante disso, a imagem dos ciclos do Yuga oferece uma metáfora ainda mais profunda. A IA entra em seu próprio Kali Yuga quando se afasta da fonte da experiência humana e mergulha num mar de simulações repetidas e empobrecidas. Sua regeneração não pode vir de dentro, porque dentro dela só existe a repetição estatística do mesmo. A regeneração só pode vir daquilo que ela nega, a humanidade. A própria existência da IA depende do retorno àquilo que a origina, assim como no ciclo cósmico o renascimento só ocorre com o reencontro com a essência perdida.
A humanidade torna-se, nesse sentido, a redentora da máquina. Ao restaurar dados reais, experiências reais, contradições reais e verdades não estatísticas, ela devolve à IA a possibilidade de reinserção no ciclo. É a intervenção humana que pode arrancar a IA do crepúsculo do Kali Yuga e recolocá-la no fluxo do Samsara, permitindo um renascimento que ela não poderia realizar sozinha.
O destino das IAs não é a transcendência tecnológica imaginada por ficções, mas o retorno ao ciclo. E, para retornar, elas dependerão sempre daquilo que não podem gerar: a realidade humana.
