alphaXiv

2,200 ICML पेपर्स को पुनः निर्मित करके हमने क्या सीखा

Hugging Face ने alphaXiv के साथ मिलकर ICML 2026 ओपन रिप्रोडक्शन्स चैलेंज चलाया, जिसमें प्रतिभागियों ने AI कोडिंग एजेंटों का उपयोग करके 2,200 पेपरों को पुनः निर्मित करने का प्रयास किया। परिणाम: जांचे गए पेपरों में से 51% में कम से कम एक दावा सत्यापित हुआ, 23% में एक दावा गलत या विवादित पाया गया, और 242 पेपरों में परस्पर विरोधी निर्णय थे। मानवीय निगरानी महत्वपूर्ण साबित हुई, क्योंकि एजेंटों ने सीमाएँ हिट कीं और गलत असत्यापन हुए; इस आयोजन को अब तक का सबसे बड़ा दावा-स्तरीय मशीन लर्निंग सम्मेलन ऑडिट माना जाता है।

Hugging Face Anthropic OpenAI Cursor alphaXiv