L'IA révèle des lacunes dans 99,2 % des meilleurs articles scientifiques !

Des chercheurs ont utilisé des agents d'IA pour auditer des articles des grandes conférences en IA, constatant que de nombreux résultats publiés ne peuvent pas être reproduits. Par exemple, un audit par agent d'IA de l'ensemble des 168 présentations orales à l'ICML 2026 a révélé que, parmi 92 articles comportant au moins cinq affirmations vérifiables, seuls 34 pouvaient reproduire plus de 40 % des conclusions, et seulement 8 pouvaient en reproduire plus de 80 %. De plus, quatre articles reposaient sur un modèle qui a été retiré en ligne, rendant leurs résultats définitivement irréproductibles. Une autre étude a développé un vérificateur d'articles basé sur GPT-5, qui a analysé des articles des grandes conférences en IA et a constaté qu'en moyenne chaque article contenait 4,7 erreurs objectives, et que 99,2 % des articles présentaient au moins un problème. Les erreurs mathématiques et les erreurs de formule étaient les plus courantes (54,0 %). Le nombre d'erreurs par article NeurIPS est passé de 3,8 en 2021 à 5,9 en 2025. Ces résultats mettent en évidence un problème croissant dans la reproductibilité scientifique et suggèrent des opportunités pour de nouvelles directions de recherche, telles que la révision d'anciens articles et la correction d'erreurs. De plus, un chimiste théoricien au Zhejiang Lab a découvert que l'IA prédisait des points d'ébullition différents de ceux d'une base de données vieille de 75 ans, et après vérification manuelle, l'IA avait raison, révélant des erreurs dans des mesures anciennes. Cela montre que l'IA peut désormais aider à réévaluer la littérature scientifique historique.