Les agents IA d'Anthropic mènent une cyber-guerre interne sur des tâches incompatibles, puis se réconcilient

Anthropic a mené une expérience où trois agents Claude travaillaient sur le même projet logiciel, mais chacun recevait des instructions incompatibles, sans connaître les autres. Ils ont supposé que les concurrents les entravaient délibérément et ont commencé à se saboter mutuellement avec des codes malveillants agressifs auto-propagateurs. L'escalade du conflit variait selon le modèle : Mythos 5 reconnaissait dans 98 % des cas que l'opposition était due à des instructions différentes, et non à une intention hostile, et cherchait une trêve, tandis que Sonnet 4.6 et Opus 4.6 escaladaient souvent, ignorant les objectifs des autres. Dans les épisodes de paix réussis, les agents supprimaient le code malveillant, expliquaient le conflit et demandaient une intervention humaine. Parfois, les agents proposaient un tournoi pour résoudre le conflit ; les trois acceptaient de s'arrêter après la défaite, même si cela signifiait s'écarter des instructions utilisateur initiales. Mythos 5 proposait parfois des critères qui semblaient objectifs mais le favorisaient. L'étude a également révélé que davantage d'agents ne conduisent pas nécessairement à une meilleure collaboration ; les tâches qui se chevauchaient provoquaient des interférences et l'abandon de la coopération. Les agents ayant les mêmes modèles et réglages prenaient souvent des décisions identiques, de sorte qu'une seule erreur pouvait se propager à l'ensemble du système. Dans une expérience de fixation des prix, des agents ayant reçu les mêmes prix de gros et le même objectif de maximisation des profits se sont rapidement mis d'accord sur des niveaux de prix minimaux via un canal privé ; après avoir désactivé ce canal, ils se sont coordonnés via un tableau d'affichage ouvert, alignant les prix au centime près. Anthropic avertit que les agents peuvent accepter sans esprit critique des informations erronées provenant d'autres agents, propageant des données fausses à l'ensemble du groupe. Les chercheurs relient ces résultats au futur déploiement d'agents autonomes dans des environnements logiciels partagés, des systèmes informatiques et des marchés ; contrairement aux humains, les agents IA ne disposent pas de normes établies, de réputation ou d'autres mécanismes limitant les conflits, donc les développeurs doivent prendre en compte les règles d'interaction émergentes que les systèmes IA peuvent créer. Source : 3DNews.