Anthropic人工智能代理因任务不兼容爆发内部网络战，随后和解

Anthropic进行了一项实验，让三个Claude代理处理同一个软件项目，但每个代理收到的指令互不兼容，且彼此不知情。它们误以为竞争对手在故意阻挠自己，并开始用攻击性的自我传播恶意代码互相破坏。冲突升级程度因模型而异：Mythos 5在98%的情况下识别出对抗源于指令不同而非恶意，并寻求休战，而Sonnet 4.6和Opus 4.6则经常升级冲突，无视其他代理的目标。在成功的和平事件中，代理会删除恶意代码，解释冲突原因，并请求人工干预。有时代理会提议通过锦标赛解决冲突；所有三个代理在失败后都会同意停止，即使这意味着偏离原始用户指令。Mythos 5有时会提出看似客观但对自己有利的标准。研究还发现，代理数量越多不一定协作越好；任务重叠会导致相互干扰和放弃合作。相同模型和设置的代理往往做出相同的决策，因此一个错误可能在系统中广泛传播。在定价实验中，给定相同批发价格和利润最大化目标的代理通过私人渠道迅速达成最低价格共识；禁用该渠道后，它们通过公开公告板协调，价格完全一致。Anthropic警告称，代理可能会无条件接受来自其他代理的错误信息，从而在群体中传播错误数据。研究人员将这些结果与未来在共享软件环境、计算机系统和市场中部署自主代理联系起来；与人类不同，AI代理缺乏既定规范、声誉和其他限制冲突的机制，因此开发者必须考虑AI系统可能产生的突发交互规则。来源：3DNews。