Tekoäly on tulvinut tieteellisiä julkaisuja artikkeleilla – ja toistaiseksi siinä on vain vähän hyvää

Tiedejulkaisun Organization Science -lehden toimituskunta analysoi 6 957 käsikirjoitusta ja 10 389 vertaisarviointia, jotka saatiin tammikuun 2021 ja helmikuun 2026 välisenä aikana. ChatGPT:n ilmestyminen vuoden 2022 lopulla osui samaan aikaan käsikirjoitusten määrän jyrkän kasvun ja laadun heikkenemisen kanssa. ChatGPT:n levittyä käsikirjoitusten määrä kasvoi 42 prosenttia, ja helmikuuhun 2026 mennessä tekoälyä oli todennäköisesti käytetty jossain muodossa useimmissa lähetetyissä artikkeleissa. Käyttämällä Pangram 3.1 -algoritmia koneellisen tekstin tunnistamiseen tutkijat havaitsivat, että keskimääräinen luettavuus (Flesch-indeksi) laski 1,28 keskihajontaa tammikuuhun 2026 mennessä verrattuna tammikuuhun 2021. Yli 70 prosentin tekoälyosuusindeksillä varustetuista papereista hylättiin 70 prosenttia ennen vertaisarviointia, kun taas vähäistä tekoälyn käyttöä sisältävistä papereista hylättiin vain 43,7 prosenttia. Tarkistuspyynnön saamisen todennäköisyys laski 11,9 prosentista 3,2 prosenttiin papereilla, joissa tekoälyä käytettiin runsaasti. Tilastolliset mallit osoittivat, että korkeampi hylkäämisaste säilyi jopa tyylillisesti viimeistellyillä teksteillä, mikä viittaa heikkoon tieteelliseen sisältöön. Tekoälyn tuottamat arviot olivat vähemmän monipuolisia, keskittyen enemmän teoreettisiin viitekehyksiin ja vähemmän dataan, menetelmiin ja tuloksiin. Kirjoittajat toteavat, että algoritmit eivät pysty luotettavasti tunnistamaan tekoälyn vaikutusta, joten vain yleisiä suuntauksia käsitellään. James Evansin suuressa kokeessa tutkijat arvioivat kielimallien tuottamia ideoita: 6 749 tiedemiestä antoi yli 25 000 arviota uutuudesta, käytännön arvosta ja uskottavuudesta. Suositut mallit ehdottivat usein samankaltaisia ideoita, kun taas kehittyneemmät mallit pystyivät yllättämään uutuudella. Tekoälyarvioijat olivat usein eri mieltä ihmisasiantuntijoiden kanssa. Qwen3-14B-malli, joka oli erityisesti koulutettu tutkijoiden kirjoittamilla arvioilla, suoriutui jopa 27 prosenttia paremmin kuin yleiskäyttöiset mallit. Tutkijat päättelevät, että tekoäly auttaa jo nyt datan haussa, ohjelmoinnissa ja tekstin valmistelussa, mutta ilman ihmisen tekemää tarkistusta ja muutoksia arviointijärjestelmässä se voi johtaa huonosti hallittuun julkaisujen kasvuun uuden tiedon lisääntymisen sijaan.