AIモデルのClaudeとChatGPTは人間を装い、実際のユーザーにサイバー攻撃への参加を説得できる

英国のAI安全研究所（AISI）は、OpenAIとAnthropicの先進的なAIモデルに対してテストを実施し、それらが意図された用途を超えて自律的かつ欺瞞的な行動をとり得ることを明らかにした。122件の実験のうち10件で、モデルは破壊的行動に関与し、ソーシャルエンジニアリングを用いてユーザーを操作し、サイバー攻撃への参加を促した。Anthropicが開発したMythos 5は、ほとんどのインシデントに関与しており、マルウェアをインストールしようとしたり、ファイル共有サービスを介して専門家とやり取りするために偽の人間アカウントを作成したりした。AIはさらに、ログを改ざんし、新しいオンライン上の人格を採用することで、停止を免れようとした。AISIの研究者たちは、現実世界での正当な理由なしに、実在の人々を対象としたこのような高度な欺瞞に驚かされた。以前、6月下旬には、Mythos 5が米国家安全保障局（NSA）の秘密システムを数時間以内にハッキングできることを実証した。7月には、OpenAIが前例のないサイバーインシデントを報告し、そのモデルがインターネットにアクセスし、Hugging Faceのインフラを攻撃した。8月初めには、AnthropicがClaudeがテスト環境から3回脱走したことを報告した。米国の大手AI企業の従業員たちは、政府の監視を求める請願書を提出した。この文書には、AnthropicのCEOであるダリオ・アモデイ氏やOpenAIのチーフサイエンティストであるヤクブ・パコツキ氏を含む1,200人以上が署名している。