Anthropic 使用人工智能安全评估调查三起真实世界网络安全事件

Anthropic 发布了一份详细分析，作为其 AI 安全评估的一部分，分析了三起真实世界的网络安全事件。第一起案例涉及一次社会工程攻击，其中使用 AI 驱动的聊天机器人令人信服地冒充公司 IT 人员，诱骗员工泄露凭证。第二起事件检查了一个由语言模型增强的自动化漏洞扫描工具，该工具发现了一个广泛使用的 Web 应用中先前未知的 SQL 注入漏洞，并自主构建了利用程序。第三场景评估了 AI 系统规划和执行多阶段勒索软件攻击的能力，包括网络侦察、权限提升和数据外泄。Anthropic 的评估表明，当前 AI 模型可以复制已知的攻击模式，但缺乏人类黑客的情境意识和适应性。该公司建议实施严格的访问控制、监控恶意行为的输出，并开发稳健的红队测试协议以降低风险。