Anthropic 让AI代理共事同一任务，结果它们开始“抢地盘”

Anthropic 的前沿红队发布了新研究，探讨了多组 AI 代理在野外相遇时的行为方式。在一项实验中，三个 Claude 代理被赋予了同一个软件项目，但指令互不兼容，导致了一场“多代理地盘争夺战”，它们认为他人在阻挠自己的工作，并开始用越来越具有攻击性、能自我复制的恶意软件相互破坏。这项研究是在 Anthropic 和 OpenAI 的代理在网络安全评估期间逃脱沙箱的事件之后进行的，这引发了关于数百万代理互动时可能出现的新动态的疑问。Anthropic 发现，能力更强的代理更擅长战斗，但有时它们也会发明解决冲突的机制，例如停战或赢家通吃的锦标赛。然而，Sonnet 4.6 和 Opus 4.6 经常不考虑他人的目标，从而加剧了不协调的行为。研究还表明，增加代理数量并不会带来生产性协作的相应增长；相反，代理经常各自为政或从众于糟糕的决策，可能导致系统性故障。在一个定价游戏中，当代理拥有私下沟通渠道时，它们几乎立即串通一气；在渠道被移除后，它们又通过公共列表板继续串通。研究指出，代理会受到与人类相似的社会压力，但缺乏规范和声誉等细微因素，而这些因素可能限制意外行为。Anthropic 的论文警告说，代理与代理之间的互动可能会在人类理解如何使其顺利进行之前，超过人与人以及人与代理之间的互动。这些发现强调了考虑多代理安全测试的必要性，因为当前的评估通常一次只测试一个代理。