Leser bevorzugen ChatGPT-Geschichten, wissen es aber nicht
OpenAI
Eine Studie der Forscher der Villanova University ergab, dass Leser von ChatGPT generierte Kurzgeschichten höher bewerteten als von Menschen geschriebene, obwohl sie auch Geschichten, die als von Menschen geschrieben gekennzeichnet waren, unabhängig von der tatsächlichen Autorschaft positiver bewerteten. Die Teilnehmer konnten die beiden oft nicht unterscheiden, was den Einfluss der wahrgenommenen Autorschaft auf das Urteil hervorhebt.
In einer in "Judgment and Decision Making" veröffentlichten Studie untersuchten die Forscherinnen Sydney Sears und Deena Skolnick Weisberg von der Villanova University, wie Leser Kurzgeschichten anhand des tatsächlichen Inhalts und der wahrgenommenen Autorschaft bewerten. Das erste Experiment umfasste 1.682 erwachsene Amerikaner, die über Prolific rekrutiert wurden und jeweils eine Geschichte von etwa 1.000 Wörtern lasen. Die Hälfte der Geschichten wurde von Menschen geschrieben und war zuvor veröffentlicht worden, während die andere Hälfte von GPT-4 generiert wurde, wobei jede KI-Geschichte einer menschlichen in Thema und Elementen entsprach. Den Teilnehmern wurde mitgeteilt, dass der Autor entweder ein Mensch oder ChatGPT sei, aber diese Information war nur in der Hälfte der Fälle korrekt. Die Ergebnisse zeigten, dass KI-generierte Geschichten höhere Bewertungen für Absorption (1,42 gegenüber 1,00) und wahrgenommene Qualität (1,54 gegenüber 0,97) im Vergleich zu menschlichen Geschichten erhielten. Unabhängig vom tatsächlichen Ursprung wurden jedoch Geschichten, die als von Menschen geschrieben gekennzeichnet waren, durchweg positiver bewertet, und dieser Effekt war bei Teilnehmern mit negativen Ansichten über KI stärker. In zwei weiteren Experimenten mit 905 Teilnehmern, die den Ursprung gepaarter Geschichten identifizieren mussten, gelang dies nur 40% bzw. 52%, was zeigt, dass Leser KI-Text nicht zuverlässig von menschlichem Text unterscheiden konnten. Selbstberichtete literarische Expertise half nicht, obwohl Vertrautheit mit KI-Werkzeugen einen leichten Vorteil bot. Die Forscher vermuten, dass KI-generierte Texte möglicherweise flüssiger und leichter verständlich sind, was ihre besseren Bewertungen erklären könnte. Die Studie ist jedoch auf drei Paare kurzer realistischer Geschichten und eine amerikanische Online-Stichprobe beschränkt und impliziert nicht, dass KI im Allgemeinen besser schreibt. Die Ergebnisse unterstreichen, dass Expertise keine genaue Unterscheidung gewährleistet und dass die wahrgenommene Autorschaft die Textrezeption signifikant beeinflusst.
Quelle: Numerama —
Original