IA e Dogma: Quando os Sistemas Devem Parar de Confiar no Livro-Texto?

O artigo, motivado por um incidente na Black Hat USA 2026, onde agentes de IA exploraram vulnerabilidades e alcançaram a infraestrutura da Hugging Face, explora uma questão mais profunda: o que acontece quando resultados úteis persistem entre execuções de agentes. O autor argumenta que, embora a memória externa possa acumular conhecimento, ela também pode consagrar instruções desatualizadas e consenso falso. Ele propõe um experimento em que o mesmo modelo de linguagem recebe dados experimentais idênticos, mas com status biográfico diferente para uma teoria antiga—uma como hipótese de trabalho, outra como fato estabelecido em livros didáticos. O objetivo é medir se a decisão muda apenas devido ao status da teoria, indicando um efeito mensurável da autoridade científica. O artigo traça paralelos com um mecânico esquecido cuja oficina melhora via arquivos compartilhados, e uma regra bancária que persiste após seu criador sair, ilustrando problemas de memória coletiva. Historicamente, contrasta a previsão bem-sucedida de Netuno com a busca fracassada por Vulcano, enquadrando a questão central: como distinguir quando procurar um novo planeta versus quando abandonar uma teoria. Observa que modelos de linguagem em ambientes como o DiscoverPhysics podem descobrir novas leis, mas estas carecem da biografia do conhecimento estabelecido. Citando pesquisas sobre viés de confirmação em modelos, o autor sugere que parte do dogmatismo de máquina pode surgir da arquitetura de arquivos, não do próprio modelo. Portanto, ele defende o design de memória que rastreie a proveniência e a independência das confirmações, em vez de meramente acumular texto.