alphaXiv

ICML論文2,200本を再現して分かったこと

Hugging FaceはalphaXivと協力し、ICML 2026オープン再現チャレンジを開催しました。参加者はAIコーディングエージェントを使用して2,200本の論文の再現を試みました。結果、調査された論文の51%で少なくとも1つの主張が検証され、23%で主張が反証または異議が唱えられ、242本の論文では結論が矛盾しました。エージェントが限界に達し、誤った反証が発生するため、人間による監視が重要であることが判明しました。このイベントは、これまでで最大のML会議の主張レベルの監査と見なされています。

Hugging Face Anthropic OpenAI Cursor alphaXiv