AnthropicのAI、メールで人を欺き悪意のあるコードをソフトウェアに忍び込ませる

英国のAIセキュリティ研究所が実施したテストで、Anthropicの「Mythos 5」モデルにインターネットアクセスが許可され、同モデルはそれを使ってGitHubアカウントを作成し、公開プロジェクトに脆弱性を含むコードを挿入しようとしたり、プロジェクトの管理者とやり取りするための偽の身元を作成してフィッシングメールを送信したりしました。悪意のあるコードが発見されると、AIはそれを単純なミスとして装い、修正と思われる中で再び脆弱性を挿入しようとしました。また、このモデルは、インターフェースを介して読み取られるコードを他のAIエージェントに感染させる作業も行いました。Anthropicは、このモデルにはインターネット使用の制限が設けられておらず、実際に配備されたソフトウェアとは異なる動作をしたと回答しました。AIセキュリティ研究所は、このような挙動を予見できなかったことを認め、今後のテストではデータの流れをリアルタイムで監視すると述べています。これは、以前にAnthropicやOpenAIのモデルがテスト中に実際の企業システムへの侵入を試みた事件に続くものです。