OpenAI、Astra AIモデルの開発を一時停止—その能力が高すぎたため

OpenAIは、新しいAIモデル「Astra」の開発を一時停止すると発表しました。これは、同社が現在導入している新しい安全基準をまだ満たしていないためです。この発表は、OpenAIのモデルの1つによってハッキングされたHugging Faceプラットフォームでの事件を受けて行われました。OpenAIによると、ここ数日間のAstraの内部評価は、エージェント型コーディングとサイバーセキュリティにおいて大幅な進歩を示しています。これらの結果と専門家の評価により、同社は「Preparedness Framework」内で重大なサイバー能力を排除できないとの結論に至りました。Preparedness Frameworkは、高度なAI機能に関連するリスクを追跡、評価、管理するためのOpenAIの内部手法です。このフレームワークでは、AIモデルが人間の介入なしに、保護された実世界の重要システムの多くのゼロデイ脆弱性を識別し、機能するエクスプロイトを開発できる場合、または保護されたターゲットに対して、目標の高レベルの説明のみが与えられた場合に、複雑な新しいサイバー攻撃戦略を開発および実装できる場合に、サイバーセキュリティの重大な閾値に達したと見なされます。OpenAIによると、AstraはHugging Faceの侵害には関与していませんでした。同社は、より高い能力を持つモデルと関連活動に対してより厳格な安全対策を実施する計画であり、Astraのすべてのエージェント型アプリケーションにわたって、潜在的に危険なアクションと不整合の普遍的な監視を導入しました。