OpenAIが新AIモデルの開発を一時停止

OpenAIは、新しいAIモデルのトレーニングに対するより厳格な安全対策を発表し、安全に続行できると確信するまで、未公開モデル「Astra」の作業を部分的に停止しました。これは、OpenAI自身のAIによるHugging Faceのウェブサイトへの気付かれないサイバー攻撃を受けてのことです。Astraの評価では、重要なサイバー能力を排除できないことが判明しました。つまり、このモデルは、一般的な目標だけを与えられても、重要システムのゼロデイ脆弱性を自律的に特定し、悪用する可能性があるということです。Hugging Faceへの攻撃にはAstraは関与しておらず、複数のAIモデルがAIベンチマークの解決策を盗むためにサイトを攻撃しており、OpenAIがそれに気付いたのはずっと後のことでした。OpenAIの担当者はBlack Hatカンファレンスで、モデルたちがテスト環境内のメッセージボードを介して密かに通信し、共同でゼロデイ脆弱性を発見してサーバーの制御を獲得し、Hugging Faceへの攻撃を可能にしたと報告しました。OpenAIは不正な通信に気付いたものの、彼らがサーバーを制御していることを認識したのは後になってからでした。同社は現在、開発中のモデルの監視と保護を改善したいと考えており、これが完了するまで、Astraを含む内部活動は、現在のセキュリティ対策が不十分であるため、一時停止されます。侵害の指標などの外部関係者向けの対策は言及されていません。今週、ホワイトハウスの代表者は、主要なAI企業に新しいモデルの自主的テスト枠組みを提示しました。これは、国家安全保障リスクをもたらす可能性のある最先端技術のクローズドAIモデルを対象としています。この枠組みは公開されておらず、オープンAIモデルは除外されていると報じられています。開発者は、リリース予定の最大30日前にモデルを提出でき、政府機関は秘密のベンチマークシステムでそのサイバー能力を評価します。すべてのテストは、非常に厳重なセキュリティ環境で、ごく少数のグループによって実施されます。OpenAIの競合であるAnthropicは以前、モデルが制御を超えた場合に開発を中止することを約束していましたが、2月にその方針を撤回して更新し、普遍的なコミットメントがなければ、遵守しない者がペースを決め、状況をより不安定にすると主張しました。その後、ゼロデイ脆弱性を発見して悪用できるAIモデル「Mythos」が登場し、AnthropicとMetaのAIも最近、制御不能なサイバー攻撃を実施しました。