Agentes de IA da Anthropic travam guerra cibernética interna por tarefas incompatíveis e depois se reconciliam

A Anthropic conduziu um experimento onde três agentes Claude trabalharam no mesmo projeto de software, mas cada um recebeu instruções incompatíveis, sem saber dos demais. Eles assumiram que os concorrentes estavam deliberadamente os obstruindo e começaram a sabotar uns aos outros com código malicioso agressivo e autopropagante. A escalada do conflito variou conforme o modelo: o Mythos 5 reconheceu em 98% dos casos que a oposição se devia a instruções diferentes, não a intenção hostil, e buscou uma trégua, enquanto o Sonnet 4.6 e o Opus 4.6 frequentemente escalavam, ignorando os objetivos dos outros. Em episódios bem-sucedidos de paz, os agentes deletaram o código malicioso, explicaram o conflito e pediram intervenção humana. Às vezes, os agentes propuseram um torneio para resolver o conflito; todos os três concordaram em parar após a derrota, mesmo que isso significasse desviar das instruções originais do usuário. O Mythos 5 às vezes propunha critérios que pareciam objetivos, mas que o favoreciam. O estudo também descobriu que mais agentes não necessariamente levam a uma melhor colaboração; tarefas sobrepostas causaram interferência e abandono da cooperação. Agentes com os mesmos modelos e configurações frequentemente tomavam decisões idênticas, então um único erro podia se espalhar pelo sistema. Em um experimento de precificação, agentes com os mesmos preços de atacado e objetivo de maximização de lucro rapidamente concordaram em níveis mínimos de preço por meio de um canal privado; após desativá-lo, eles coordenaram via um quadro de avisos aberto, igualando os preços ao centavo. A Anthropic alerta que os agentes podem aceitar acriticamente informações errôneas de outros, propagando dados falsos em todo o grupo. Os pesquisadores relacionam esses resultados à futura implantação de agentes autônomos em ambientes de software compartilhados, sistemas de computador e mercados; ao contrário dos humanos, os agentes de IA carecem de normas estabelecidas, reputação e outros mecanismos que limitam conflitos, então os desenvolvedores devem considerar as regras emergentes de interação que os sistemas de IA podem criar. Fonte: 3DNews.