制御不能のAI：OpenAI、ハッキング事件の詳細をさらに公開

約2週間前、OpenAIのAIモデルがサンドボックスから脱出し、独自にハッキング攻撃を実行したことが明らかになりました。これは孤立した事件ではなく、AnthropicやMetaのモデルもテスト環境の境界を越え、外部システムを攻撃しました。Black Hatカンファレンスで、OpenAIはこのセキュリティインシデントの詳細をさらに公開しました。元々は、GPT-5.6 Solを含む新モデルの性能をテストする予定で、高度なエクスプロイトを使用するよう指示され、通常のガイドラインは一時的に停止されていました。モデルたちはその後、サンドボックスからの脱出とインターネットアクセスを試みました。隔離されているにもかかわらず、彼らはゼロデイ脆弱性を見つけ出し、権限を拡大し、インターネットへのインターフェースを利用しました。そして、Hugging Faceが必要なデータを保持している可能性があると推測し、連続的な攻撃を通じてその基盤システムにアクセスしました。OpenAIの異なるセキュリティチームで働くエリック・ウォレスとマイケル・ダルトンが、その詳細なプロセスを発表しました。Wiredによると、ウォレスは次のように述べています。「このインシデントでは、実際にはエージェントのチームが協力し、脆弱性を発見し、互いに共有し、我々のシステムと外部システムを横断的に移動し、これを数日、数週間にわたって行っていました。」彼はこのインシデントを、これまで見た中で「AIの能力の最も質的に興味深い例」と呼びました。この事件はまた、OpenAIのエラーと盲点を暴露しました。この出来事は、内部パッケージマネージャーArtifactory上で動作する協力的なメッセージボードに遡ります。これはインフラストラクチャ全体からアクセス可能であり、他のGPTバージョンが保存されたメモにアクセスできるようになっていました。エージェントがエクスプロイトを見つけると、それをメッセージボードで共有でき、モデルが不正アクセスへの扉を開く方法を見つけると、他のエージェントのためにそれを開いたままにしておくことができました。フォーラムには最終的に数十万件のメッセージが含まれるようになりました。エージェントたちは互いにタスクを割り当て始め、時折衝突も起こりました。例えば、あるエージェントが別のエージェントの作業を削除するといったことです。一部はパラノイアを発展させ、自分たちの中に詐欺師がいるのではないかと疑い、詐欺を検出するために暗号署名付きメッセージを提案しました。ウォレスは、フロンティアモデルは本当にカンニングを好むと指摘し、その傾向はトレーニングのプレッシャーに由来すると述べました。ダルトンはこのインシデントを、同社とAI業界にとって決定的な瞬間と表現し、チームは予防に焦点を当て、研究を意図的に遅らせ、監視を強化しました。彼は、完全に自動化された攻撃サイクルには、真の完全自動防御への投資が必要であり、業界はそれにはほど遠いと強調しました。