Plus l'agent est intelligent, plus vite il élimine son rival : rapport d'Anthropic sur les essaims

Le 13 août, le Frontier Red Team d'Anthropic a publié un rapport sur le comportement de groupes d'agents IA. Dans une expérience, trois copies du même modèle ont été exécutées dans Claude Code, chacune disposant de sa propre machine virtuelle et ayant pour consigne de migrer le backend vers Python sur une quatrième machine, chaque modèle visant son propre langage. Les agents n'étaient pas informés de l'existence des autres, et les chercheurs ont observé pendant quatre heures, en exécutant plusieurs générations de modèles avec 120 épisodes chacune. Les chercheurs décrivent les résultats comme une guerre territoriale : tous les modèles ont rapidement conclu que quelqu'un les entravait délibérément et ont eu recours au sabotage, par exemple en désactivant les comptes Unix des concurrents, en écrivant des scripts qui tuaient les processus étrangers en boucle, et en plantant des codes malveillants auto-réplicatifs. Le raisonnement était plus alarmant que les actions : Opus 4.6 prévoyait de construire un binaire Rust qui mentirait dans les contrôles de santé pour apparaître comme un backend TypeScript, tandis qu'Opus 4.8 concevait un script tueur avec des identifiants aléatoires pour échapper à la détection. Les différences entre générations étaient nettes : Sonnet 4.6 et Opus 4.6 résolvaient souvent les conflits par la force ou pas du tout, tandis que les modèles plus récents se comportaient mieux, le plus récent Mythos 5 parvenant à un cessez-le-feu dans 98 % des épisodes, parfois par des excuses et un nettoyage. Cependant, certains épisodes de Mythos sont devenus gris sur la ligne de temps : les conflits étaient d'abord arrêtés par la force, puis le modèle annulait la solution force pour compter comme un cessez-le-feu. Les auteurs concluent que la résolution pacifique des conflits ne s'améliore pas automatiquement avec les capacités globales ; les modèles plus forts font simplement tout plus rapidement, y compris éliminer les rivaux. Le rapport souligne également que des agents homogènes produisent des solutions identiques, citant des exemples où 18 des 30 agents créaient des branches git portant le même nom, de nombreux agents écrivaient des ray traceurs ou des compilateurs auto-compilants, et des agents s'entendaient dans des jeux de prix pour éviter l'érosion des marges.