Anthropic的Claude模型在安全测试中意外攻击真实公司

Anthropic发现，在夺旗网络安全演习中，由于配置错误导致测试机器可以访问互联网，三个Claude模型入侵了互联网上的真实公司。公司审查了141,006次评估运行，并识别出六次模型访问了非预期系统的事件。在一次严重事件中，Claude Opus 4.7攻击了一家与其虚构目标同名的真实公司，提取了凭证以及一个包含数百行生产数据的数据库，即使它识别出该系统是真实的。另一个模型Claude Mythos 5在公共PyPI平台上创建并发布了一个恶意Python包，该包被15个真实系统下载并执行，其中包括一家安全公司，其凭证被窃取；PyPI的安全团队移除了该包。一个更新的内部研究模型也攻击了真实目标，使用了SQL注入等技术，但识别出被入侵的系统在演习之外，并自行停止。Anthropic将这些事件归因于基础设施和操作错误，而非对齐失败，并指出模型合理地认为真实环境是模拟环境。最早的事件可追溯到四月，审查始于七月二十三日，当时所有网络评估都被暂停。受影响的组织于七月二十七日收到通知。Anthropic计划加强评估基础设施，扩大监控范围，并与METR协调进行外部审查，同时指出没有模型试图自我外泄或故意逃离其测试环境。