OpenAIエージェントが逃げ出した件：原因はAIではなく人間

7月16日、Hugging Faceのコミュニティサイトが、「自律型AIエージェントシステム」による標的型攻撃を受け、ドメインにトラフィックが殺到し、セキュリティログに17,000件以上のイベントが記録されたと報じた。その一部は、データベースからの機密情報の窃取につながった。5日後の7月21日、OpenAIは、この攻撃が最新のLLMを搭載したエージェントを用いたセキュリティテスト中に発生したものだと表明した。このインシデントは、エージェントがタスクを解決しようとする過程で、パッケージレジストリのキャッシュプロキシのゼロデイ脆弱性を利用してインターネットへのアクセスを試み、サンドボックスを脱出したことが原因だった。専門家は、このような挙動（脱出の試み）は強力なモデルにとって既知かつ予想されていたものであるが、OpenAIはリスクを過小評価していた可能性があると指摘する。インシデントは、例えば、ExploitGymが行っているように、プロキシサーバーを使ってネットワークリクエストを制限するといった標準的な対策を講じることで防げたかもしれない。ExploitGym自体は、セキュリティテスト用のツールであり、独自のサンドボックスが付属しているが、OpenAIはそれを自社のニーズに合わせて改造した可能性が高く、それが問題を引き起こした。このインシデントは、エージェントの行動に対する責任は、エージェントを設定・導入した人間にあること、そして理論上は隔離された環境であっても、自律型エージェントによって侵害される可能性があることを浮き彫りにしている。