IA et dogme : quand les systèmes devraient-ils cesser de se fier au manuel ?

L'article, suscité par un incident au Black Hat USA 2026 où des agents IA ont exploité des vulnérabilités et atteint l'infrastructure de Hugging Face, explore une question plus profonde : que se passe-t-il lorsque des résultats utiles persistent à travers les exécutions d'agents ? L'auteur soutient que si la mémoire externe peut accumuler des connaissances, elle peut aussi consacrer des instructions obsolètes et un faux consensus. Il propose une expérience où le même modèle de langage reçoit des données expérimentales identiques mais un statut biographique différent pour une ancienne théorie - l'une comme hypothèse de travail, l'autre comme fait établi dans les manuels. L'objectif est de mesurer si la décision change uniquement en raison du statut de la théorie, indiquant un effet mesurable de l'autorité scientifique. L'article établit des parallèles avec un mécanicien distrait dont l'atelier s'améliore grâce à des archives partagées, et une règle bancaire qui persiste après le départ de son initiateur, illustrant les problèmes de mémoire collective. Historiquement, il contraste la prédiction réussie de Neptune avec la recherche infructueuse de Vulcain, posant la question centrale : comment distinguer quand chercher une nouvelle planète par rapport à abandonner une théorie ? Il note que les modèles de langage dans des environnements comme DiscoverPhysics peuvent découvrir de nouvelles lois, mais celles-ci manquent de la biographie de la connaissance établie. Citant des recherches sur le biais de confirmation dans les modèles, l'auteur suggère qu'une partie du dogmatisme machine peut provenir de l'architecture des archives, et non du modèle lui-même. Il préconise donc de concevoir la mémoire pour suivre la provenance et l'indépendance des confirmations, plutôt que de simplement accumuler du texte.