Les modèles de langage ne peuvent pas déclencher de révolutions scientifiques, contrairement aux modèles du monde

Dans un document de position intitulé « LLMs can't jump », Tom Zahavy de Google DeepMind soutient que les modèles de langage ne peuvent pas déclencher de révolutions scientifiques car ils ne disposent pas du mécanisme cognitif clé permettant de créer des idées véritablement nouvelles. Il utilise le modèle de découverte d'Einstein comme un cycle : de l'expérience sensorielle à un « saut » intuitif vers des axiomes, puis une dérivation logique vers des conclusions testables. Zahavy distingue trois types de raisonnement : la déduction, l'induction et l'abduction, et affirme que les LLM gèrent l'induction et la déduction mais pas « l'abduction manipulatrice » — inventer une cause pour laquelle il n'existe pas encore de modèle linguistique. Il illustre cela avec le travail d'Einstein, notant qu'il n'y avait pas de crise des données à l'époque ; la physique newtonienne était très précise, à l'exception d'une infime anomalie dans l'orbite de Mercure, et une IA purement optimisatrice aurait peut-être inventé une planète hypothétique plutôt que de repenser l'espace et le temps. Zahavy soutient que la « pensée la plus heureuse » d'Einstein — l'observateur en chute libre — provenait d'une simulation incarnée, d'une sensation corporelle, et non d'une manipulation de formules. Il compare cela au moment d'Eurêka d'Archimède dans sa baignoire. Les modèles de langage manquent de cet ancrage sensoriel ; ils sont comme la « chambre chinoise » — déplaçant des symboles sans accès à l'expérience incarnée. Il note que des systèmes comme AI Scientist de Sakana et AlphaEvolve de DeepMind peuvent automatiser la science, mais soit ils recombinent des concepts existants, soit ils nécessitent un signal d'erreur clair, ce dont Einstein n'a jamais disposé. Comme piste potentielle, Zahavy suggère des modèles de monde physiquement cohérents : les générateurs vidéo comme Veo ne prédisent que la trame suivante, mais les modèles de monde contrôlables par action comme Genie permettent aux agents d'intervenir et de mener des expériences contrefactuelles, fournissant ainsi le retour d'information nécessaire pour inventer de nouveaux axiomes. Zahavy est prudent, affirmant que le document « suggère » mais ne prouve pas que ce saut est le goulot d'étranglement critique.