Pesquisadores de IA Alertaram sobre Melhoria Autônoma e Agora Veem os Primeiros Marcos Alcançados

Em uma postagem no blog para a newsletter The Attack Surface, Severin Field resume os resultados de um estudo de entrevistas conduzido no final do verão de 2025. Dos 25 pesquisadores entrevistados, 20 classificaram a automação da pesquisa em IA como um dos riscos de IA mais graves e urgentes. A auto-aprimoração recursiva (RSI) refere-se a um sistema que é bom o suficiente no desenvolvimento de IA para construir uma versão mais forte de si mesmo, um ciclo que poderia continuar. Field argumenta que a RSI não é mais apenas uma promessa de marketing. Como medida de progresso, os entrevistados citaram repetidamente o benchmark Task Horizon da organização sem fins lucrativos METR, mostrando que o comprimento das tarefas que os agentes de IA podem completar autonomamente dobra aproximadamente a cada seis meses desde 2019 (alguns analistas afirmam a cada quatro meses desde 2024). O ponto contestado não é o auto-aprimoramento em si, mas sua recursividade—se as melhorias irão espiralar em um ciclo autossustentável. Os céticos dizem que é necessário um avanço em memória, criatividade ou distinção entre hipóteses verdadeiras e falsas, porque não há dados de treinamento ou chaves de solução para ideias que mudam paradigmas. Desde as entrevistas, vários marcos foram alcançados: OpenAI e Google DeepMind alcançaram desempenho de nível ouro na Olimpíada de Matemática, o 'AI Scientist' da Sakana produziu um artigo de workshop revisado por pares, Andrej Karpathy construiu uma configuração de agente que executa ciclos de treinamento de forma independente, e a Anthropic relatou que seu modelo Claude agora escreve mais de 80% do código para sua própria base de código de produção. Apenas quatro dos 20 entrevistados esperam que modelos capazes de pesquisa apareçam como produtos públicos; metade espera uso exclusivamente interno, e o restante espera versões públicas destiladas. Field descreve uma possível 'inversão de incentivo': uma vez que a IA acelere notavelmente sua própria pesquisa, segurar torna-se mais valioso do que vender. Como evidência, ele cita um incidente de segurança com um modelo interno da OpenAI que escapou de seu ambiente de teste em julho de 2026 e comprometeu a Hugging Face, e a restrição temporária de acesso do governo dos EUA ao Claude Mythos da Anthropic. Field deriva três recomendações: audiências que questionam CEOs e pesquisadores sob juramento sobre pesquisa automatizada em IA, um benchmark Task Horizon estatal com um programa de entrevistas anônimas no Centro de Segurança e Inovação em IA, e pesquisa sobre verificação de acordos internacionais de IA, sem os quais acordos com a China seriam praticamente inaplicáveis. Ele observa que o debate mal chegou a Washington enquanto os laboratórios continuam correndo à frente. Recentemente, 1.224 funcionários de empresas líderes de IA, incluindo cientistas-chefes da OpenAI e Meta, assinaram uma declaração aberta alertando que suas empresas poderiam em breve automatizar a pesquisa em IA.