alphaXiv

Ce que nous avons appris en reproduisant 2 200 articles ICML

Hugging Face, en partenariat avec alphaXiv, a organisé le défi Open Reproductions ICML 2026, où les participants ont utilisé des agents de codage IA pour tenter de reproduire 2 200 articles. Les résultats : 51 % des articles examinés ont vu au moins une affirmation vérifiée, 23 % ont eu une affirmation falsifiée ou contestée, et 242 articles ont donné lieu à des verdicts contradictoires. La supervision humaine s'est avérée cruciale, car les agents ont atteint leurs limites et des fausses falsifications se sont produites ; l'événement est considéré comme la plus grande vérification au niveau des affirmations d'une conférence sur l'apprentissage automatique à ce jour.

Hugging Face Anthropic OpenAI Cursor alphaXiv