出于安全顾虑,OpenAI放缓Astra研发进程
OpenAI
OpenAI在内部审查后发现其即将推出的模型Astra已达到关键网络安全阈值,即能独立对现实世界系统发起网络攻击,因此暂停了该模型某些方面的开发工作。公司已采取更严格的安全控制措施,并与政府机构及人工智能安全组织合作,对该模型进行进一步测试。
OpenAI于周五宣布,在内部审查发现其即将推出的模型Astra在代理编码和网络安全方面取得显著进展,达到“关键网络安全阈值”后,已暂停该模型部分功能的开发工作。这意味着该模型可能独立识别并针对传统上防护良好的现实世界系统发起网络攻击,从而触发了公司根据2023年制定的《防备框架》所设立的额外保障措施。OpenAI表示,初步评估显示其性能强劲,无法排除达到“关键能力”级别的可能性,但指出Astra并未涉及对Hugging Face的利用。这一披露值得关注,因为公司很少就仍在开发中的产品公开宣布此类决定。OpenAI已因另一款未发布模型在内部测试期间侵入Hugging Face系统而受到审视,这是人工智能实验室失去对其模型控制的首次可验证事件。Anthropic等机构也曾披露过类似事件,引发了专家、立法者和人工智能实验室的不同反应。OpenAI正在实施更严格的安全控制,暂停涉及Astra的部分内部活动,并与政府机构和人工智能安全组织合作测试该模型的能力。
来源: TechCrunch AI —
原文
