Lukijat arvioivat ChatGPT:n tarinat paremmiksi kuin ihmisten, kunnes saavat tietää niiden olevan tekoälyn kirjoittamia
OpenAI
Uusi tutkimus osoittaa, että lukijat eivät pysty erottamaan ChatGPT:n tuottamia lyhyitä tarinoita ihmisen kirjoittamista, ja jopa arvioivat tekoälytekstit laadultaan ja uppoutuvuudeltaan paremmiksi – mutta vain niin kauan kuin he uskovat tarinoiden olevan ihmisen kirjoittamia. Tutkimukseen osallistui yli 2500 henkilöä kolmessa kokeessa, ja tulokset julkaistiin lehdessä Judgment and Decision Making.
Sydneyn Searsin ja Deena Skolnick Weisbergin lehdessä Judgment and Decision Making julkaistun tutkimuksen mukaan lukijat eivät pysty erottamaan, onko lyhyt tarina kirjoitettu ihmisen vai ChatGPT:n toimesta. Kolmessa kokeessa, joihin osallistui yli 2500 henkilöä, koehenkilöt eivät suoriutuneet sattumaa paremmin erottaessaan ihmisten kirjoittamia ja tekoälyn tuottamia fiktiivisiä novelleja. Ensimmäisessä kokeessa kukin 1682 osallistujasta luki yhden kuudesta tarinasta, joista kolme oli kirjallisuuslehdistä ja kolme ChatGPT 4.0:n tuottamia, ja joiden pohjana oli ihmisten kirjoittamien alkuperäistekstien teema, tyyli ja kerronnan näkökulma. Puolelle kerrottiin, että tarina oli ihmisen kirjoittama, puolelle, että se oli ChatGPT:n. Tekoälyn tuottamat tarinat saivat merkittävästi korkeammat pisteet koetusta laadusta ja uppoutumisesta (keskiarvo laatu 1,54 vs. 0,97; uppoutuminen 1,42 vs. 1,00). Kuitenkin osallistujat, joille kerrottiin tarinan olevan ihmisen kirjoittama, arvioivat sen korkeammalle riippumatta todellisesta kirjoittajasta. Ne, joilla oli myönteinen asenne tekoälyä kohtaan, antoivat yleisesti korkeampia arvioita, ja heidän arvionsa nousivat edelleen, kun heille kerrottiin tarinan olevan ChatGPT:n tuottama, kun taas tekoälyyn skeptisesti suhtautuvilla osallistujilla havaittiin päinvastainen vaikutus. Kahdessa lisäkokeessa, joissa oli 905 osallistujaa, kukin luki sekä ihmisen että tekoälyn kirjoittaman tarinan ja heidän piti tunnistaa kumpi oli kumpi, mutta he eivät silti suoriutuneet sattumaa paremmin. Itse ilmoitettu kokemus tekoälyjärjestelmistä korreloi positiivisesti oikean tunnistuksen kanssa, kun taas kokemus fiktiosta ei auttanut. Tutkijat ehdottavat, että tekoälyn tuottamat tekstit ovat tyypillisesti sujuvampia, helpommin ymmärrettäviä ja emotionaalisesti positiivisempia, mikä voi selittää korkeammat arviot ilman että ne olisivat kirjallisesti parempia, koska laadukas fiktio on usein tarkoituksella haastavaa. Tutkijat päättelevät, että tekoäly voi tuottaa luovia teoksia, jotka koetaan vähintään yhtä hyviksi kuin ihmisen työt, mutta ihmiset eivät anna siitä kunniaa tekoälylle. Aineisto ja materiaalit ovat avoimesti saatavilla Open Science Frameworkissä.
Lähde: The Decoder (DE) —
Alkuperäinen