言語モデルは科学革命を引き起こせないが、世界モデルなら可能かもしれない

トム・ザハビーは、Google DeepMindのポジションペーパー『LLMs can't jump』において、言語モデルは真に新しいアイデアを生み出すための重要な認知的メカニズムを欠いているため、科学革命を引き起こすことはできないと主張しています。彼は、アインシュタインの発見モデルをサイクルとして用いています。すなわち、感覚経験から直感的な「跳躍」を経て公理に至り、そこから論理的に演繹して検証可能な結論に至るというものです。ザハビーは、推論には演繹、帰納、アブダクションの3種類があると区別し、LLMは帰納と演繹は扱えるが、「操作的アブダクション」—まだ言語的テンプレートが存在しない原因を発明すること—はできないと主張しています。彼はアインシュタインの研究を例に挙げ、当時はデータ危機は存在しなかったと指摘します。ニュートン物理学は、水星の軌道におけるわずかな異常を除けば非常に正確であり、純粋に最適化を目指すAIは、時空そのものを再考するのではなく、仮説上の惑星を発明していたかもしれません。ザハビーは、アインシュタインの「最も幸福な思考」—自由落下する観測者—は、数式の操作ではなく、身体化されたシミュレーション、身体感覚から来たものだと論じます。彼はこれをアルキメデスの浴槽でのユーレカの瞬間と比較します。言語モデルにはこの感覚的基盤が欠けており、それらは「中国語の部屋」のようなもので、身体化された経験にアクセスせずに記号を操作しているに過ぎません。彼は、SakanaのAI ScientistやDeepMindのAlphaEvolveなどのシステムが科学を自動化できるが、既存の概念を再結合するか、明確なエラーシグナルを必要とするものであり、アインシュタインには決して存在しなかったと指摘します。潜在的な道筋として、ザハビーは物理的に一貫したワールドモデルを示唆します。Veoのようなビデオジェネレータは次のフレームを予測するだけですが、Genieのような行動制御可能なワールドモデルは、エージェントが介入し、反事実的な実験を行うことを可能にし、新しい公理を発明するために必要なフィードバックを提供します。ザハビーは慎重で、この跳躍が決定的なボトルネックであると「示唆する」が証明はしていないと述べています。