读者偏爱ChatGPT创作的故事，却浑然不觉

一项发表在《判断与决策》期刊上的研究中，来自维拉诺瓦大学的研究人员西德尼·西尔斯和迪娜·斯科尔尼克·韦斯伯格调查了读者如何根据实际内容和感知作者身份来评价短篇故事。第一项实验涉及通过Prolific平台招募的1682名美国成年人，每人阅读一篇约1000字的故事。其中一半故事由人类撰写且此前已发表，另一半由GPT-4生成，每个AI故事都与人类故事在主题和元素上相匹配。参与者被告知作者要么是人类，要么是ChatGPT，但这一信息在只有一半的情况下是准确的。结果显示，与人类故事相比，AI生成的故事在沉浸感（1.42对1.00）和感知质量（1.54对0.97）方面获得了更高的评分。然而，无论真实来源如何，标记为人类的故事始终获得更有利的评价，且这一效应在持有负面AI态度的参与者中更为显著。在另外两项实验中，有905名参与者需要识别配对故事的来源，仅分别有40%和52%的人成功，表明读者无法可靠地区分AI和人类文本。自我报告的文学专业知识并无帮助，尽管熟悉AI工具带来了轻微优势。研究人员认为，AI生成的文本可能更流畅、更易于理解，这或许能解释其获得更好评价的原因。然而，该研究仅限于三对短篇现实主义故事和在线美国样本，并不意味AI在总体上写得更好。结果强调，专业知识并不能确保准确辨别，且感知作者身份显著影响文本接受度。