Mitä opimme toistamalla 2 200 ICML-paperia
Hugging Face järjesti yhteistyössä alphaXivin kanssa ICML 2026 Open Reproductions -haasteen, jossa osallistujat käyttivät tekoälypohjaisia koodausagentteja yrittääkseen toistaa 2 200 paperia. Tulokset: 51 prosentissa tutkituista papereista vähintään yksi väite varmennettiin, 23 prosentissa väite osoittautui vääräksi tai kiistanalaiseksi, ja 242 paperissa arviot olivat ristiriitaisia. Ihmisen valvonta osoittautui ratkaisevan tärkeäksi, sillä agentit kohtasivat rajoja ja väärät väärennökset olivat mahdollisia. Tapahtumaa pidetään tähän mennessä laajimpana konepohjaisena väitetason auditoinnin konferenssissa.
Hugging Face
Anthropic
OpenAI
Cursor
alphaXiv
Hugging Face blog13.08 · 20:03