AIがトップ論文の99.2%に欠陥を発見！

研究者らはAIエージェントを用いて、主要なAI会議の論文を監査し、発表された結果の多くが再現できないことを明らかにした。例えば、ICML 2026における全168件の口頭発表を対象としたAIエージェントによる監査では、検証可能な主張が5つ以上ある92件の論文のうち、結論の40%以上を再現できたのはわずか34件、80%以上を再現できたのはわずか8件であった。さらに、4件の論文は現在オフラインになっているモデルに依存しており、その結果は恒久的に再現不可能となっている。別の研究では、GPT-5ベースの論文チェッカーを開発し、主要なAI会議の論文を分析したところ、平均して各論文に4.7件の客観的誤りが含まれ、99.2%の論文に少なくとも1件の問題があることが判明した。数学的・形式的誤りが最も多く（54.0%）、NeurIPSの論文あたりの誤り数は2021年の3.8件から2025年には5.9件に増加している。これらの発見は、科学の再現性における深刻化する問題を浮き彫りにし、過去の論文の見直しや誤りの修正といった新たな研究の方向性の可能性を示唆している。さらに、之江・ラボラトリーの理論化学者は、AIが75年前のデータベースとは異なる沸点を予測し、手動での検証の結果、AIの方が正しいことが判明し、100年前の測定値に誤りがあることが明らかになった。これは、AIが歴史的な科学文献の再評価を支援できることを示している。