ما تعلمناه من إعادة إنتاج 2,200 ورقة بحثية من مؤتمر ICML

نظمت Hugging Face وalphaXiv تحدي إعادة الإنتاج المفتوح لمؤتمر ICML 2026 في الفترة من 15 يوليو إلى 2 أغسطس 2026، ودعت المشاركين إلى إعادة إنتاج أوراق بحثية من المؤتمر باستخدام وكلاء برمجة بالذكاء الاصطناعي مثل Claude Code وCodex وCursor وPi. حصل المشاركون على 20 دولارًا من الاعتمادات الحاسوبية وأطلقوا 2,962 وظيفة سحابية؛ حيث تم استخدام عمليات إعادة إنتاج مصغرة على بيانات اصطناعية عندما كانت إعادة الإنتاج الكاملة مستحيلة. من بين 2,200 ورقة بحثية تم فحصها، تم التحقق بشكل مستقل من ادعاء واحد على الأقل في 1,103 ورقة (51%)، بما في ذلك 266 ورقة أعيد إنتاجها بالكامل و632 ورقة أعيد إنتاجها جزئيًا دون أي تزييف؛ وتم تأكيد 3,978 ادعاءً فرديًا. ومع ذلك، تم تزييف أو الطعن في ادعاء واحد على الأقل في 496 ورقة (23%)، بما في ذلك 49 ورقة تم تزييف جميع ادعاءاتها و242 ورقة حيث توصلت فرق مستقلة إلى أحكام متعارضة حول نفس الادعاءات. تشمل التزييفات المؤكدة البارزة فشل إثبات ورقة بحثية حول الترحيل بعد k=1024، وانهيار نظرية في الخطوة 224، وورقة نظرية استخدمت تباعد كولباك-ليبلر العكسي بينما استخدم الكود تباعد كولباك-ليبلر الأمامي، وتقييم مخفف بسبب رموز الحشو في نهاية التسلسل. أعاد المنظمون التحقق من جميع التزييفات المزعومة وتواصلوا مع المؤلفين الذين استجابوا بشكل إيجابي. كما أبرز التحدي أن الوكلاء واجهوا حدودًا، مثل الحلقات المحلية وسوء الفهم، وأن الإشراف البشري كان ضروريًا لتحقيق نتائج موثوقة، كما يتضح من الفائز الذي اتبع نهج الإنسان في الحلقة والذي حكم شخصيًا على أزواج الصور. يُعتبر الحدث أكبر تدقيق مفتوح ادعاءً بادعاء لمؤتمر تعلم آلة، وجميع السجلات والأحكام وآثار التنفيذ والمنتجات متاحة للجمهور.