Lezers geven de voorkeur aan ChatGPT-verhalen, maar weten dat niet
OpenAI
Een onderzoek van onderzoekers van de Villanova Universiteit toonde aan dat lezers korte verhalen gegenereerd door ChatGPT hoger waardeerden dan door mensen geschreven verhalen, maar ze gaven ook hogere beoordelingen aan verhalen die als door mensen geschreven waren bestempeld, ongeacht de werkelijke auteurschap. Deelnemers slaagden er vaak niet in om de twee te onderscheiden, wat de invloed van waargenomen auteurschap op het oordeel benadrukt.
In een studie gepubliceerd in Judgment and Decision Making onderzochten onderzoekers Sydney Sears en Deena Skolnick Weisberg van de Villanova University hoe lezers korte verhalen beoordelen op basis van daadwerkelijke inhoud en waargenomen auteurschap. Het eerste experiment betrof 1.682 Amerikaanse volwassenen die via Prolific werden geworven en die elk een verhaal van ongeveer 1.000 woorden lazen. De helft van de verhalen was door mensen geschreven en eerder gepubliceerd, terwijl de andere helft door GPT-4 was gegenereerd, waarbij elk AI-verhaal overeenkwam met een menselijk verhaal qua thema en elementen. Deelnemers werd verteld dat de auteur een mens of ChatGPT was, maar deze informatie was slechts in de helft van de gevallen accuraat. De resultaten toonden aan dat AI-gegenereerde verhalen hogere beoordelingen kregen voor absorptie (1,42 versus 1,00) en waargenomen kwaliteit (1,54 versus 0,97) vergeleken met menselijke verhalen. Echter, ongeacht de ware oorsprong, werden verhalen die als menselijk waren geëtiketteerd consistent gunstiger beoordeeld, en dit effect was sterker bij deelnemers met negatieve opvattingen over AI. In twee verdere experimenten met 905 deelnemers die de oorsprong van gepaarde verhalen moesten identificeren, slaagde respectievelijk slechts 40% en 52% erin, wat aantoont dat lezers AI-tekst niet betrouwbaar van menselijke tekst konden onderscheiden. Zelfgerapporteerde literaire expertise hielp niet, hoewel bekendheid met AI-tools een licht voordeel gaf. De onderzoekers suggereren dat AI-gegenereerde teksten wellicht vloeiender en gemakkelijker te begrijpen zijn, wat hun betere beoordelingen zou kunnen verklaren. De studie is echter beperkt tot drie paren korte realistische verhalen en een Amerikaanse online steekproef, en impliceert niet dat AI in het algemeen beter schrijft. De resultaten benadrukken dat expertise geen nauwkeurig onderscheid garandeert en dat waargenomen auteurschap de receptie van teksten aanzienlijk beïnvloedt.
Bron: Numerama —
origineel