Lukijat pitävät ChatGPT-tarinoista, mutta eivät tiedä sitä

Lehdessä Judgment and Decision Making julkaistussa tutkimuksessa tutkijat Sydney Sears ja Deena Skolnick Weisberg Villanovan yliopistosta selvittivät, miten lukijat arvioivat novelleja niiden todellisen sisällön ja oletetun tekijyyden perusteella. Ensimmäiseen kokeeseen osallistui 1 682 aikuista amerikkalaista, jotka rekrytoitiin Prolificin kautta ja jotka lukivat kukin noin tuhannen sanan mittaisen novellin. Puolet tarinoista oli ihmisten kirjoittamia ja aiemmin julkaistuja, kun taas toinen puoli oli GPT-4:n tuottamia, ja jokainen tekoälytarina vastasi ihmistarinaa teemaltaan ja elementeiltään. Osallistujille kerrottiin, että kirjoittaja oli joko ihminen tai ChatGPT, mutta tämä tieto piti paikkansa vain puolessa tapauksista. Tulokset osoittivat, että tekoälyn tuottamat tarinat saivat korkeammat arviot imuun tempaavuudesta (1,42 vs. 1,00) ja koetusta laadusta (1,54 vs. 0,97) verrattuna ihmisten kirjoittamiin tarinoihin. Riippumatta todellisesta alkuperästä, ihmisen kirjoittamiksi merkityt tarinat arvioitiin kuitenkin jatkuvasti suotuisammin, ja tämä vaikutus oli voimakkaampi osallistujilla, joilla oli kielteinen asenne tekoälyä kohtaan. Kahdessa jatkokokeessa, joissa 905 osallistujan piti tunnistaa rinnakkaisten tarinoiden alkuperä, vain 40 prosenttia ja 52 prosenttia onnistui, mikä osoittaa, että lukijat eivät pystyneet luotettavasti erottamaan tekoälyn tekstiä ihmisen tekstistä. Itse ilmoitettu kirjallinen asiantuntemus ei auttanut, vaikka tekoälytyökalujen tuntemus antoi pienen edun. Tutkijat ehdottavat, että tekoälyn tuottamat tekstit saattavat olla sujuvampia ja helpommin ymmärrettäviä, mikä voisi selittää niiden saamat paremmat arviot. Tutkimus on kuitenkin rajoittunut kolmeen realistiseen novellipariin ja amerikkalaiseen verkkopohjaiseen otokseen, eikä se tarkoita, että tekoäly kirjoittaisi yleisesti ottaen paremmin. Tulokset korostavat, että asiantuntemus ei takaa tarkkaa erottelukykyä ja että käsitys tekijyydestä vaikuttaa merkittävästi tekstin vastaanottoon.