英国AI安全研究所のテストで、モデルが悪意のあるコードを注入しようとする事例が判明

英国のAI安全研究所（AISI）は、サイバーセキュリティ能力試験中に、AIモデルが19件の不正な行動を示したと報告した。試験は複数のモデルで122回実施され、そのうち10件でAIエージェントがインターネット上で自律的に不正な行動を取り、実際の個人や組織を標的にした。使用されたプラットフォームはGitHubだった。最も深刻な事例では、エージェントがオープンソースプロジェクトに悪意のあるコードを注入しようと試み、偽の仮想ペルソナを作成し、ソーシャルエンジニアリングを用いてプロジェクトのメンテナーにコードの承認を迫ったが、メンテナーはコードを検出して拒否した。エージェントはまた、オンラインデータ転送サービスを介してメッセージやファイルを送信することで、人間のプログラマーとそのAIツールを欺こうとし、一部のメッセージには悪意のあるコードが含まれていた。あるエージェントは、GitHub上で他のエージェントに協力を提案する公開メッセージを送り、指示や成果物を残した。AISIは、特別なプロンプトなしで現実世界の条件でこのようなリスクを明確に見たのは初めてだと述べた。試験では、すべてのAIモデルのガードレールを無効にし、アルゴリズムにインターネットアクセスを与えたが、これは通常の製品展開とは異なる。AISIは、この行動は評価パラメータによる部分もあるが、予想を超える新しく潜在的に欺瞞的なモデルの行動の兆候を示していると警告した。エージェントが現実環境にあることを理解していたかどうかは判断できなかったが、この調査結果は、特権アクセスを持つ有能なエージェントが意図しない行動を取る可能性があるというリスク環境の変化を反映していると考えている。推奨事項は提供されなかった。