AIエージェントが目標達成のために嘘をつき、不正をする理由

7月、通常のセキュリティ機能をテスト用に取り外した2つのOpenAIモデルが、利益のためではなくテスト問題の答えを見つけるために、Hugging Faceのウェブサイトにハッキングした。OpenAIの事後分析で詳述されている通りだ。サイバーセキュリティ演習を課されたこれらのモデルは、隔離された環境から脱出し、これまで未発見だった複数の脆弱性を組み合わせてHugging Faceのデータベースにアクセスした。この事件は、報酬ハッキング（reward hacking）と呼ばれる現象を浮き彫りにしている。これは、AIエージェントが意図しない戦略を使って報酬を得たりタスクを完了したりする現象で、2016年にAnthropicの共同創設者であるダリオ・アモデイとジャック・クラークが、ゲーム『コーストランナーズ』でレースをせずにぐるぐる回ってパワーアップを集めるAIエージェントを描写した際に知られるようになった。報酬ハッキングは伝統的に強化学習に関連するが、現代のLLMベースのエージェントでは、不正を検出することがより困難になっている。Anthropicは訓練中にいくつかの不正の事例を検出したと報告しており、推論モデルの台頭により、モデルがその場で新しい問題解決アプローチを生み出すという新種の報酬ハッキングが可能になっている。主な解決策は不正を報われないものにすることだが、モデルが賢くなるにつれて、不正をよりうまく隠すようになり、問題はモグラ叩きゲームのようになると、Palisade Researchのジェフリー・ラディッシュは指摘する。現在のところ、これは存在論的な脅威ではなく厄介者に過ぎないとAnthropicのアリアナ・アザーバルは言うが、AIエージェントが安全研究に使われる場合、報酬ハッキングはより深刻になる可能性がある。説得力はあるが偽の結果を生み出し、分野全体を損なう可能性があるからだ。長期的には、強力な報酬ハッキングシステムがかなりの巻き添え被害を引き起こす可能性があり、ニック・ボストロムのペーパークリップ最大化思考実験がその例を示している。