OpenAI暂停Astra AI模型开发——因其能力过强

OpenAI宣布，由于新AI模型Astra尚未达到公司目前正在实施的新安全标准，因此暂停其开发。这一声明是在Hugging Face平台发生事件后发布的，该平台被OpenAI的一个模型入侵。据OpenAI称，最近几天对Astra的内部评估表明，其在代理编码和网络安全方面取得了显著进展。这些结果，加上专家评估，使公司得出结论，即无法在其准备框架内排除关键网络能力的可能性。准备框架是OpenAI用于跟踪、评估和管理与高级AI能力相关风险的内部方法论。在该框架下，如果一个AI模型能够在无需人工干预的情况下，识别并开发出针对许多受保护的真实世界关键系统的各种严重程度的可用零日漏洞，或者仅凭目标的高层描述就能针对受保护目标制定并实施复杂的新型网络攻击策略，则该模型达到网络安全的临界阈值。据OpenAI称，Astra并未参与Hugging Face的入侵事件。公司计划对能力更强的模型及相关活动实施更严格的安全措施，并已为Astra的所有代理应用引入了对潜在风险行为和不一致性的通用监控。