KI deckt Mängel in 99,2 % der Spitzenpapiere auf!

Forschende haben KI-Agenten eingesetzt, um Beiträge von führenden KI-Konferenzen zu prüfen, und dabei festgestellt, dass viele veröffentlichte Ergebnisse nicht reproduzierbar sind. Beispielsweise ergab eine KI-Agenten-Prüfung aller 168 mündlichen Präsentationen auf der ICML 2026, dass von 92 Beiträgen mit mindestens fünf überprüfbaren Behauptungen nur 34 über 40 Prozent der Schlussfolgerungen reproduzieren konnten, und nur 8 über 80 Prozent. Darüber hinaus stützten sich vier Beiträge auf ein Modell, das inzwischen offline genommen wurde, wodurch ihre Ergebnisse dauerhaft nicht reproduzierbar sind. Eine weitere Studie entwickelte einen auf GPT-5 basierenden Paper-Checker, der Beiträge von führenden KI-Konferenzen analysierte und feststellte, dass jeder Beitrag im Durchschnitt 4,7 objektive Fehler enthielt und 99,2 Prozent der Beiträge mindestens ein Problem aufwiesen. Mathematische und Formelfehler waren am häufigsten (54,0 Prozent). Die Fehleranzahl pro NeurIPS-Beitrag stieg von 3,8 im Jahr 2021 auf 5,9 im Jahr 2025. Diese Ergebnisse verdeutlichen ein wachsendes Problem bei der wissenschaftlichen Reproduzierbarkeit und deuten auf Möglichkeiten für neue Forschungsrichtungen hin, wie etwa die Überprüfung alter Beiträge und die Korrektur von Fehlern. Darüber hinaus entdeckte ein theoretischer Chemiker am Zhejiang-Labor, dass KI andere Siedepunkte vorhersagte als eine 75 Jahre alte Datenbank, und nach manueller Überprüfung hatte die KI recht, was Fehler in jahrhundertealten Messungen aufdeckte. Dies zeigt, dass KI nun dabei helfen kann, historische wissenschaftliche Literatur neu zu bewerten.