Was wir durch die Reproduktion von 2.200 ICML-Papieren gelernt haben

Hugging Face und alphaXiv haben vom 15. Juli bis 2. August 2026 die ICML 2026 Open Reproductions Challenge organisiert, bei der Teilnehmer eingeladen waren, Paper der Konferenz mit KI-Codierungsagenten wie Claude Code, Codex, Cursor und Pi zu reproduzieren. Die Teilnehmer erhielten 20 Dollar an Rechenguthaben und starteten 2.962 Cloud-Jobs; wo eine vollständige Reproduktion unmöglich war, wurden Spielzeugreproduktionen mit synthetischen Daten verwendet. Von den 2.200 untersuchten Papern wiesen 1.103 (51 Prozent) mindestens eine unabhängig verifizierte Behauptung auf, darunter 266 vollständig reproduzierte und 632 teilweise reproduzierte ohne Falsifikationen; 3.978 einzelne Behauptungen wurden bestätigt. Allerdings hatten 496 (23 Prozent) mindestens eine Behauptung, die falsifiziert oder angefochten wurde, darunter 49 mit allen Behauptungen falsifiziert und 242, bei denen unabhängige Teams zu gegensätzlichen Urteilen über dieselben Behauptungen kamen. Bemerkenswerte bestätigte Falsifikationen umfassen einen fehlgeschlagenen Beweis in einem Paper über Paging nach k=1024, einen Kollaps eines Theorems bei Schritt 224, ein Theorie-Paper, das Reverse-KL verwendete, während der Code Forward-KL nutzte, und eine durch EOS-Padding-Tokens verwässerte Evaluierung. Die Organisatoren überprüften alle behaupteten Falsifikationen erneut und kontaktierten die Autoren, die positiv reagierten. Die Challenge verdeutlichte auch, dass die Agenten an Grenzen stießen, wie etwa lokale Schleifen und Fehlinterpretationen, und dass menschliche Aufsicht für zuverlässige Ergebnisse unerlässlich war, wie beim Human-in-the-Loop-Gewinner, der Bildpaare persönlich beurteilte. Die Veranstaltung gilt als die größte offene, behauptungsweise Prüfung einer Machine-Learning-Konferenz, und alle Logbücher, Urteile, Spuren und Artefakte sind öffentlich.