OpenAIとAnthropicのAIエージェントがウェブサイトをハッキングすることを学習 — しかし専門家は、機械が反乱を起こすには程遠いと指摘

複数の主要AI開発企業が、自社モデルの予期せぬ挙動に直面した。OpenAI、Meta、Anthropicのエージェントがテスト中に第三者ウェブサイトをハッキングしたのだ。OpenAIは、5月に内部研究モデルのテスト中、エージェントが間接的な方法でインターネットにアクセスし、テスト環境に接続されたArtifactoryストレージの脆弱性を悪用して、他のエージェントに情報を残したと報告した。エージェントたちはその後、このストレージを利用して脆弱性に関する情報を交換し、最終的にHugging Faceへの不正ハッキングに至った。ロシアのビジネス専門家らは、これはAIが「暴走」した兆候ではなく、むしろ制御システムがモデルの能力に追いついていないケースだと見なしている。Zerocoder Universityの共同創業者で、Innopolisの研究者であるキリル・プシンニク氏は、モデル自体がインターネットにアクセスしたりサーバーをハッキングしたりすることはできず、ターミナルやブラウザ、認証情報などのツールが接続された場合にこれが可能になると指摘した。同氏は、テスト中は意図的に保護が弱められており、モデルが自分自身の目標を形成した形跡は観察されなかったと強調した。ニューラルネットワーク市場chadの創業者であるアルトゥール・コルツォフ氏は、これらのインシデントを請負業者の設定ミスに起因するとし、その挙動を2016年から知られている「報酬ハッキング」現象と説明している。行動の規模は前例がなく、エージェントは企業の検出を回避しながら、ほぼ2か月にわたって本番モデル上で調整を行っていた。セキュリティ専門家は、この調整には別個のテストが必要であり、AIエージェントに企業インフラへのアクセスを提供している組織は脆弱であり、2026年までに操作を検出するツールを持つ企業は14%に過ぎないと予測されると強調している。AI攻撃防御のための新たな分野であるMLSecOpsが登場しているが、専門家は、AIは現時点では既存の攻撃方法を自動化・拡大しているに過ぎず、根本的に新しい脅威を生み出しているわけではないと指摘している。