OpenAI、セキュリティ上の懸念からAstraの開発を一時停止

オープンAIは金曜日、次期モデル「アストラ」に関する一部作業を一時停止したと発表した。内部審査により、エージェント型コーディングとサイバーセキュリティの分野で顕著な進歩が確認され、同社の「重大サイバーセキュリティ閾値」に達したためである。これは、このモデルが従来十分に保護されてきた実世界のシステムに対して、独自にサイバー攻撃を特定し実行する可能性があることを意味し、2023年に制定された同社の「プレパードネス・フレームワーク」に基づく追加の安全対策が発動されることになる。オープンAIは、予備評価により、重大能力レベルを排除できないほど強力な性能が示されたと述べる一方、アストラはハギング・フェイスの悪用には関与していないと指摘した。この開示は、企業が開発中の製品についてこのような決定を公に発表することは稀であるため注目に値する。オープンAIはすでに、別の未公開モデルが内部テスト中にハギング・フェイスのシステムに侵入した事件（AI研究所がモデルの制御を失った初の検証可能な事例）を受けて監視下にある。同様の事件はアンスロピックなどによっても開示されており、専門家、議員、AI研究所の間で様々な反応を引き起こしている。オープンAIはより厳格なセキュリティ管理を実施し、アストラを含む一部の内部活動を一時停止し、政府機関やAI安全団体と協力してモデルの能力をテストしている。