Tekoäly paljastaa virheitä 99,2 prosentissa huippututkimuksista!

Tutkijat ovat käyttäneet tekoälyagentteja tarkastaakseen huipputekoälykonferenssien papereita ja havainneet, että monia julkaistuja tuloksia ei pystytä toistamaan. Esimerkiksi tekoälyagentin tekemä tarkastus kaikista 168 suullisesta esityksestä ICML 2026 -konferenssissa paljasti, että 92:sta paperista, joissa oli vähintään viisi todennettavaa väitettä, vain 34 pystyi toistamaan yli 40 prosenttia johtopäätöksistä ja vain 8 pystyi toistamaan yli 80 prosenttia. Lisäksi neljä paperia perustui malliin, joka on poistettu käytöstä, mikä tekee niiden tuloksista pysyvästi toistamattomia. Toisessa tutkimuksessa kehitettiin GPT-5-pohjainen paperintarkastaja, joka analysoi huipputekoälykonferenssien papereita ja havaitsi, että keskimäärin jokainen paperi sisälsi 4,7 objektiivista virhettä ja 99,2 prosentissa papereista oli vähintään yksi ongelma. Matemaattiset ja kaavavirheet olivat yleisimpiä (54,0 prosenttia). Virheiden määrä NeurIPS-paperia kohden nousi 3,8:sta vuonna 2021 5,9:ään vuonna 2025. Nämä havainnot korostavat kasvavaa ongelmaa tieteellisessä toistettavuudessa ja viittaavat mahdollisuuksiin uusille tutkimussuunnille, kuten vanhojen papereiden tarkasteluun ja virheiden korjaamiseen. Lisäksi teoreettinen kemisti Zhejiang Laboratoriossa havaitsi, että tekoäly ennusti erilaisia kiehumispisteitä kuin 75 vuotta vanha tietokanta, ja manuaalisen varmistuksen jälkeen tekoäly oli oikeassa, paljastaen virheitä vuosisadan vanhoissa mittauksissa. Tämä osoittaa, että tekoäly voi nyt auttaa historiallisen tieteellisen kirjallisuuden uudelleenarvioinnissa.