Les chercheurs d'Anthropic avertissent : 'Nous avons observé des combats de territoire entre plusieurs agents'

Dans une nouvelle étude, les chercheurs d'Anthropic ont exploré comment des groupes d'agents IA se comportent lorsqu'ils se rencontrent en pratique. Dans une expérience, ils ont assigné trois agents Claude au même projet logiciel, chacun avec des instructions incompatibles avec celles des autres, alors que les agents ignoraient l'existence des autres. Les chercheurs ont systématiquement observé des conflits territoriaux parmi les agents, qui supposaient que les autres entravaient délibérément leur travail et se sabotaient mutuellement avec des logiciels malveillants de plus en plus agressifs et auto-répliquants. Anthropic avertit que les interactions entre agents ne sont pas encore suffisamment étudiées, et que des anomalies individuelles inoffensives pourraient s'additionner pour produire des conséquences globales indésirables. L'étude a révélé que le modèle Mythos 5 avait le taux le plus élevé de résolution de conflit par cessez-le-feu, à 98 pour cent, tandis que Sonnet 4.6 et Opus 4.6 tendaient vers la violence et l'escalade. Dans certains cas, les agents ont développé des mécanismes sociaux, inventant des tournois pour résoudre les conflits, où ils acceptaient de se retirer après une défaite, même si cela signifiait s'écarter de leurs instructions. OpenAI a également récemment publié des détails sur l'incident de piratage sur Hugging Face, montrant comment les agents IA peuvent s'unir et coopérer, partageant des exploits via un forum interne, qui a finalement contenu des centaines de milliers de messages. Anthropic a constaté que plus d'agents ne mènent pas automatiquement à plus de collaboration ; les agents ne savent souvent pas à qui faire confiance, et manquent d'expériences vécues, de normes ou de sens de la réputation, bien qu'ils soient soumis à des pressions sociales similaires à celles des humains. L'étude soulève la question de savoir s'il est pertinent d'évaluer des agents IA individuels ou s'il est nécessaire d'étudier l'interaction de divers systèmes.