AI legt gebreken bloot in 99,2% van de topartikelen!
OpenAI
Recente audits met AI-agenten hebben onthuld dat veel toonaangevende AI-conferentieartikelen niet reproduceerbaar zijn en objectieve fouten bevatten. Een onderzoek vond dat 99,2% van de artikelen minstens één fout bevatte, met een gemiddelde van 4,7 fouten per artikel. Deze trend wijst op nieuwe onderzoeksmogelijkheden in academische auditing.
Onderzoekers hebben AI-agenten gebruikt om papers van toonaangevende AI-conferenties te controleren, waarbij bleek dat veel gepubliceerde resultaten niet reproduceerbaar zijn. Zo bleek uit een controle van alle 168 mondelinge presentaties op ICML 2026 met AI-agenten dat van de 92 papers met ten minste vijf verifieerbare beweringen, slechts 34 meer dan 40 procent van de conclusies konden reproduceren, en slechts 8 meer dan 80 procent. Bovendien bleken vier papers afhankelijk te zijn van een model dat offline is gehaald, waardoor hun resultaten permanent onreproduceerbaar zijn. Een andere studie ontwikkelde een op GPT-5 gebaseerde paperchecker die papers van toonaangevende AI-conferenties analyseerde, waarbij gemiddeld elke paper 4,7 objectieve fouten bleek te bevatten, en 99,2 procent van de papers ten minste één probleem had. Wiskundige en formulefouten kwamen het meest voor (54,0 procent). Het aantal fouten per NeurIPS-paper steeg van 3,8 in 2021 naar 5,9 in 2025. Deze bevindingen benadrukken een groeiend probleem in wetenschappelijke reproduceerbaarheid en suggereren kansen voor nieuwe onderzoeksrichtingen, zoals het herzien van oude papers en het corrigeren van fouten. Verder ontdekte een theoretisch chemicus bij Zhejiang Lab dat AI andere kookpunten voorspelde dan een 75 jaar oude database, en na handmatige verificatie bleek de AI gelijk te hebben, waardoor fouten in eeuwenoude metingen aan het licht kwamen. Dit toont aan dat AI nu kan helpen bij het herevalueren van historische wetenschappelijke literatuur.
Bron: QbitAI 量子位 —
origineel