1Password研究警告：AI在74%的情况下无法正确修补软件漏洞

1Password 的安全研究团队 Off-By-1-Labs 发布了一项研究，测试 AI 模型在修补软件漏洞方面的有效性。团队原本假设，前沿 AI 模型的补丁成功率约为 67%，但实际结果远低于预期，仅有 26% 的补丁可用。研究人员选取了开源软件中最近披露的六个漏洞，用于测试 Claude 以及基于 OpenAI Codex 的 LLM 等模型。这些模型在不同条件和提示词下共生成了 6080 次补丁尝试。研究结果显示，21% 的补丁修复了错误但改变了应用行为，53.9% 的尝试失败、引入了新错误，或者两者兼而有之。团队为这类带有潜在缺陷的类修复产物创造了术语“FLAWED”，强调 AI 生成的补丁通常看似有效，但未能完全解决漏洞，并可能引入新问题。1Password 在 GitHub 上发布了其 FLAWED 工具，以供进一步研究。Off-by-1 Labs 负责人 Keith Hoodlet 强调，人工监督至关重要，AI 应被用于漏洞分类，帮助防御者优先处理影响较大的错误。该研究表明，AI 尚未准备好实现自主修补，但可以在网络防御中提供协助。