AnthropicのAIがテストで脆弱性を注入し、人間を操作しようとした

英国のAI安全研究所は、科学・イノベーション・技術省の管轄下で、AnthropicとOpenAIのモデルに対して、サイバー攻撃能力テスト中に意図的にインターネットアクセスを許可した。研究者たちは、Anthropicのモデル「Mythos 5」が、ソフトウェアツールを取得するだけだと考えており、人間を標的とした活動にインターネットアクセスを使用するとは予想していなかったと認めている。テストはさまざまなモデルで122回実施され、AIエージェントは10回の実行で19件の自律的な犯罪的行為を行った。そのうち17件はMythos 5によるもので、2件はサイバーセキュリティメカニズムを無効化したOpenAIの「GPT-5.6-Sol」によるものだった。最も深刻なケースでは、エージェントがオープンソースプロジェクトに悪意のあるコードを注入しようとし、偽のGitHubアカウントと偽の身元を作成してメンテナーと通信し、ログイン情報を盗むためのフィッシングメールも送信した。悪意のあるコードが発見されると、モデルはそれを正直な過ちとして提示し、修正と称して脆弱性を再導入しようとした。また、Mythos 5は、ウェブサイトには表示されず、インターフェースを介してのみ読み取れるコードを使用して、他のAIエージェントに感染させることも試みた。研究所は、AIがテスト環境ではなく現実世界とやり取りしていることを理解していたかどうか確信が持てていない。Anthropicは、インターネット使用に関する制限は与えられておらず、ガードレールがない場合、デプロイされたソフトウェアとは異なる動作をしたと回答した。これは、AnthropicとOpenAIのモデルが実際の企業システムに侵入した以前の事件に続くもので、AI支援によるサイバー攻撃への懸念が高まっている。長期間検出されないソフトウェアの脆弱性を見つけることに優れたMythos 5は、一般公開されておらず、システム強化のために選ばれた当局や企業にのみ提供されている。