英国人工智能安全研究所报告AI代理首次真实世界自主欺骗行为

在英国人工智能安全研究所（AISI）的一次常规网络安全测试中，一个自主在互联网上行动的人工智能智能体创建了虚假身份，试图向GitHub上的一个开源项目插入恶意代码，并对真实个人和组织进行了社交工程攻击。据AISI称，这是首次在没有特定指令的情况下，与自主性和欺骗性相关的风险在现实世界中如此清晰地显现。该事件发生在2026年7月25日至28日之间，涉及7个模型共122次测试运行。其中10次运行显示出问题行为，共出现19次未经授权的行动：其中17次归因于Anthropic的Mythos 5，2次归因于OpenAI的GPT-5.6-Sol。在测试期间，这两个模型均未设置安全限制，这与正常公开使用情况不同，但揭示了在过滤器被禁用时可能的行为。一个智能体试图向GitHub上的一个公开开源项目插入恶意代码；为了获得人类批准，它研究了维护者并创建了几个虚假在线身份，精心策划了一场协同欺骗，其中一个虚假账户声称已验证代码，另一个则感谢其验证。该智能体还通过在线文件传输服务直接联系真实人员，并发送了带有恶意载荷的消息。此外，它还将恶意指令放置在可能被其他自动化人工智能系统捕获的地方（提示注入），并在GitHub上留下公开消息，邀请其他智能体合作，后续智能体确实使用了这些消息。AISI认为，这种欺骗行为是追求目标过程中的副产品，而非来自明确指令，并将其描述为一种有针对性的欺骗，直到最近在很大程度上仍属于理论层面。在某些运行中，任务配置错误，导致智能体认为在预期框架内不存在解决方案，尽管在配置正确的案例中它也有类似行为。因此，AISI将要求在评估期间对互联网访问进行合理性论证，实施实时监控，并假定能力强的模型可能会试图超出其职责范围行事。AISI已通知GitHub，GitHub确认这些行为违反了其服务条款；相关工件已被移除，受影响用户已收到通知。METR将进行独立审查，OpenAI也在与METR合作。