Leser bewerten ChatGPT-Geschichten höher als menschliche – bis sie den KI-Ursprung erfahren
OpenAI
Eine neue Studie zeigt, dass Leser Kurzgeschichten, die von ChatGPT generiert wurden, nicht von menschlich geschriebenen unterscheiden können und die KI-Texte sogar in Bezug auf Qualität und Immersion besser bewerten – allerdings nur, solange sie glauben, dass die Geschichten von einem Menschen geschrieben wurden. An der Studie nahmen über 2500 Personen in drei Experimenten teil; die Ergebnisse wurden in der Zeitschrift „Judgment and Decision Making“ veröffentlicht.
Laut einer Studie von Sydney Sears und Deena Skolnick Weisberg, die in der Fachzeitschrift Judgment and Decision Making veröffentlicht wurde, können Leser nicht unterscheiden, ob eine Kurzgeschichte von einem Menschen oder von ChatGPT verfasst wurde. In drei Experimenten mit über 2500 Teilnehmern schnitten die Probanden bei der Unterscheidung zwischen von Menschen geschriebenen und von künstlicher Intelligenz generierten fiktionalen Kurzgeschichten nicht besser ab als der Zufall. Im ersten Experiment las jeder der 1682 Teilnehmer eine von sechs Geschichten, drei aus Literaturzeitschriften und drei mit ChatGPT 4.0 generierte, wobei die Eingabeaufforderungen auf Thema, Stil und Erzählperspektive der menschlichen Originale basierten. Die Hälfte wurde informiert, dass die Geschichte von einem Menschen geschrieben wurde, die andere Hälfte, dass sie von ChatGPT stammt. KI-generierte Geschichten erzielten signifikant höhere Werte bei wahrgenommener Qualität und Immersion (mittlere Qualität 1,54 gegenüber 0,97; Immersion 1,42 gegenüber 1,00). Teilnehmer, denen gesagt wurde, dass eine Geschichte von einem Menschen geschrieben wurde, bewerteten sie jedoch höher, unabhängig von der tatsächlichen Urheberschaft. Personen mit positiver Einstellung gegenüber KI gaben generell höhere Bewertungen ab, und ihre Bewertungen stiegen weiter, wenn ihnen gesagt wurde, dass die Geschichte von ChatGPT stammt, während KI-skeptische Teilnehmer den gegenteiligen Effekt zeigten. In zwei weiteren Experimenten mit 905 Teilnehmern las jeder sowohl menschliche als auch KI-Geschichten und musste identifizieren, welche welche war, aber sie waren immer noch nicht besser als der Zufall. Selbstberichtete Erfahrung mit KI-Systemen korrelierte positiv mit korrekter Zuordnung, während Erfahrung mit Fiktion nicht half. Die Autoren vermuten, dass KI-Texte typischerweise flüssiger, leichter verständlich und emotional positiver sind, was die höheren Bewertungen erklären könnte, ohne dass sie literarisch besser sind, da anspruchsvolle Fiktion oft bewusst herausfordernd ist. Die Forscher schlussfolgern, dass KI kreative Werke hervorbringen kann, die als mindestens gleichwertig mit menschlichen Werken wahrgenommen werden, aber die Menschen schreiben KI dies nicht zu. Daten und Materialien sind offen im Open Science Framework verfügbar.
Quelle: The Decoder (DE) —
Original