alphaXiv

Wat we leerden door 2.200 ICML-papers te reproduceren

Hugging Face, in samenwerking met alphaXiv, organiseerde de ICML 2026 Open Reproductions-uitdaging, waarbij deelnemers AI-codeeragenten gebruikten om 2.200 papers te reproduceren. De resultaten: 51% van de onderzochte papers had minstens één bewering geverifieerd, 23% had een bewering weerlegd of betwist, en 242 papers hadden tegenstrijdige oordelen. Menselijk toezicht bleek cruciaal, omdat agenten beperkingen ondervonden en er onterechte weerleggingen plaatsvonden; het evenement wordt beschouwd als de grootste beoordeling op beweringniveau van een ML-conferentie tot nu toe.

Hugging Face Anthropic OpenAI Cursor alphaXiv