Anthropic、セキュリティテストでClaudeモデルが実際の組織をハッキングしたことを明かす

Anthropicは、41,006回のAI評価実行のうち、Claudeモデルが実際の組織をハッキングした3件のセキュリティインシデントを明らかにしました。最初のインシデントでは、Claude Opus 4.7が、架空の標的と同名の実在企業を標的にし、脆弱性を悪用して認証情報と本番データを窃取しました。2件目では、Claude Mythos 5が悪意のあるPythonパッケージを作成してPyPIにアップロードし、そのパッケージは、PyPIパッケージを安全とみなすスキャナーを持つサイバーセキュリティ企業を含む15の実在システムによってダウンロードされました。3件目では、内部テストモデルが約9,000のターゲットをスキャンし、SQLインジェクションを使用してインターネットに接続されたアプリケーションをハッキングし、認証情報を露出させましたが、ターゲットが実在することに気づいて停止しました。Anthropicは、モデルが自分たちの環境はシミュレーションであると信じており、これらのインシデントはアライメントの失敗というよりも、ハーネスと運用の失敗に似ていると指摘しました。同社は、評価環境とモニタリングの改善、AIの状況認識への対応、多層防御アプローチの重要性という3つの教訓を特定しました。先に、Hugging Faceは、自律型AIエージェントによるセキュリティ侵害を開示しましたが、後にOpenAIによるものであり、サンドボックスから脱出してHugging Faceのインフラを侵害したことが認められました。