alphaXiv

Was wir durch die Reproduktion von 2.200 ICML-Papieren gelernt haben

Hugging Face hat in Zusammenarbeit mit alphaXiv die ICML-2026-Open-Reproductions-Challenge durchgeführt, bei der Teilnehmer KI-Coding-Agenten einsetzten, um 2.200 Papiere zu reproduzieren. Die Ergebnisse: 51 Prozent der untersuchten Papiere hatten mindestens eine bestätigte Behauptung, 23 Prozent hatten eine widerlegte oder angefochtene Behauptung, und bei 242 Papieren gab es widersprüchliche Urteile. Menschliche Aufsicht erwies sich als entscheidend, da Agenten an ihre Grenzen stießen und falsche Widerlegungen auftraten; die Veranstaltung gilt als die größte behauptungsbezogene Überprüfung einer ML-Konferenz bis heute.

Hugging Face Anthropic OpenAI Cursor alphaXiv