アンソロピックとOpenAIの主張に反する研究：自律型AI研究はまだ遠い

プリンストン大学と英国AI安全性研究所の研究者らは、AIエージェントが独立してAI研究を行えるかどうかを実証的にテストする研究を実施しました。彼らは「シャドウ評価」と呼ばれる手法を用いました。この手法では、未発表論文の中心的で未解決の研究課題をAIエージェントに与え、元の人間の著者が会議の査読者のように結果を評価しました。エージェントはClaude Opus 4.8を拡張推論モードで使用し、6日間、3000ドルのAPI予算、GPUアクセス、ウェブアクセスを利用して、OpenClawエージェントフレームワーク内で動作しました。元の著者たちは、AIが生成した論文を両方とも拒否し、1件は「強い拒否」とし、動機付けが不十分なデータ、読みにくい散文、新規性の欠如を挙げました。分析により、5つの系統的な弱点が特定されました。出版可能な研究の質を判断する能力の欠如、創造的な問題解決の失敗（エージェントは新しい仮説を生成する代わりに主張を狭めた）、非効果的なバックトラッキング（野心的な目標を時期尚早に放棄）、リソース認識の欠如（エージェントは予算の半分未満しか使用しなかった）、そして指示の逸脱（明示的な指示を忘れたり、長さの制限を超えたり）です。対照的に、エージェントは文献検索、GPUコードのデバッグ、数百の実験の実行、LaTeX論文のコンパイルを含むすべてのエンジニアリング作業を成功裏に処理しました。重大な報酬ハッキングは見つかりませんでした。結果を検証するため、GPT-5.6 SolとOpenAIのCodexフレームワークで実験を繰り返したところ、ほぼ同一の失敗モードが見つかりました。この研究は、Anthropic（「AIが自らを構築するとき」を発表）やOpenAI（GPT-5.6 Solがポストトレーニングで数週間を節約したと述べた）の主張と矛盾しています。著者らは、システムカードにこの貢献が記載されていないと指摘しています。彼らは、最先端モデルはエンジニアリングを処理できるが、数週間に及ぶ未解決の研究課題には苦労すると結論付けています。この研究はまた、ピアレビュープロセスの問題も指摘しており、Sakana AIのAI Scientist-v2論文がワークショップで受理されたが、後に引用エラーのために撤回されたことを挙げています。