alphaXiv

Yang Kami Pelajari dengan Mereproduksi 2.200 Makalah ICML

Hugging Face, bersama alphaXiv, menjalankan tantangan Open Reproductions ICML 2026, di mana peserta menggunakan agen pengkode AI untuk mencoba mereproduksi 2.200 makalah. Hasilnya: 51% makalah yang diperiksa memiliki setidaknya satu klaim yang terverifikasi, 23% memiliki klaim yang dipalsukan atau diperdebatkan, dan 242 makalah memiliki putusan yang bertentangan. Pengawasan manusia terbukti penting, karena agen mencapai batas dan terjadi pemalsuan yang salah; acara ini dianggap sebagai audit tingkat klaim terbesar untuk konferensi pembelajaran mesin hingga saat ini.

Hugging Face Anthropic OpenAI Cursor alphaXiv