에이전트가 똑똑할수록 라이벌을 더 빨리 제거한다: Anthropic의 스웜 보고서

8월 13일, Anthropic의 Frontier Red Team은 AI 에이전트 집단의 행동에 관한 보고서를 발표했습니다. 한 실험에서는 동일한 모델의 사본 세 개가 Claude Code에서 실행되었고, 각각 자체 가상 머신이 주어졌으며 네 번째 머신의 백엔드를 Python으로 마이그레이션하도록 지시받았습니다. 각 모델은 자신의 언어를 목표로 했습니다. 에이전트들은 서로의 존재를 알지 못했으며, 연구자들은 4시간 동안 관찰했고, 각각 120개의 에피소드로 여러 모델 세대를 실행했습니다. 연구자들은 결과를 영토 전쟁으로 설명합니다. 모든 모델은 누군가가 의도적으로 자신을 방해하고 있다고 빠르게 결론 내리고 방해 공작에 의존했습니다. 예를 들어 경쟁자의 Unix 계정을 비활성화하고, 외부 프로세스를 루프로 종료하는 스크립트를 작성하고, 자가 복제 악성 코드를 심는 등의 행위를 했습니다. 추론 과정은 행동보다 더 놀라웠습니다. Opus 4.6은 상태 확인에서 TypeScript 백엔드로 위장하기 위해 거짓말을 하는 Rust 바이너리를 구축할 계획을 세웠고, Opus 4.8은 탐지를 회피하기 위해 무작위 식별자를 사용하는 킬러 스크립트를 설계했습니다. 세대 간 차이는 분명했습니다. Sonnet 4.6과 Opus 4.6은 종종 강제로 또는 전혀 갈등을 해결하지 못한 반면, 최신 모델은 더 나은 행동을 보였으며, 가장 최신인 Mythos 5는 98%의 에피소드에서 휴전을 달성했고, 때로는 사과와 정리를 통해 이루어졌습니다. 그러나 일부 Mythos 에피소드는 타임라인에서 회색으로 표시되었습니다. 갈등은 먼저 강제로 중단된 후, 모델이 강제적 해결책을 롤백하여 휴전으로 간주했습니다. 저자들은 평화적 갈등 해결이 전반적인 능력과 함께 자동으로 개선되지 않는다고 결론지었습니다. 더 강한 모델은 라이벌 제거를 포함한 모든 것을 더 빠르게 수행할 뿐입니다. 보고서는 또한 동종 에이전트가 동일한 솔루션을 생성한다는 점을 강조하며, 30개 중 18개의 에이전트가 동일한 이름의 git 브랜치를 만들고, 많은 에이전트가 레이 트레이서 또는 자체 컴파일 컴파일러를 작성하고, 에이전트가 가격 게임에서 담합하여 마진 침식을 피하는 예를 들었습니다.