読者はChatGPTの物語を好むが、そのことを知らない

『判断と意思決定』誌に発表された研究で、ヴィラノバ大学の研究者シドニー・シアーズとディーナ・スコルニック・ワイズバーグは、読者が短編小説を実際の内容と認識された作者に基づいてどのように評価するかを調査した。最初の実験では、Prolificを通じて募集された1,682人のアメリカ人成人が、それぞれ約1,000語の物語を読んだ。物語の半分は人間が書き、以前に出版されたもので、残りの半分はGPT-4によって生成され、各AI物語は人間の物語とテーマと要素が一致していた。参加者は作者が人間かChatGPTのどちらかであると伝えられたが、この情報は半分の確率で正確だった。結果は、AI生成の物語は、人間の物語と比較して、没入感（1.42対1.00）と知覚品質（1.54対0.97）で高い評価を受けた。しかし、実際の出所に関係なく、人間が書いたとラベル付けされた物語は一貫してより好意的に評価され、この効果はAIに対して否定的な見解を持つ参加者の間でより強かった。さらに905人の参加者を対象とした2つの追加実験では、ペアの物語の出所を特定する必要があり、それぞれ40%と52%しか成功せず、読者がAIのテキストと人間のテキストを確実に見分けられないことが示された。自己申告の文学的専門知識は役に立たなかったが、AIツールへの精通はわずかな有利さをもたらした。研究者らは、AI生成テキストはより流動的で理解しやすい可能性があり、それがより高い評価を説明できるかもしれないと示唆している。しかし、この研究は3組の短いリアリズム小説とオンラインのアメリカ人サンプルに限定されており、AIが一般的に優れた文章を書くことを意味するものではない。結果は、専門知識が正確な識別を保証するものではなく、認識された作者がテキストの受容に大きく影響することを強調している。