読者はAI生成だと知るまでChatGPTの物語を人間の作品より高く評価

シドニー・シアーズとディーナ・スコルニック・ワイスバーグによる『判断と意思決定』誌に発表された研究によれば、読者は短編小説が人間によって書かれたものか、ChatGPTによって生成されたものかを判別できないことが明らかになった。2500人以上の参加者による3つの実験で、被験者は人間が書いた小説とAIによって生成された小説を区別する際、偶然のレベルを超える成績を収めることができなかった。最初の実験では、1682人の参加者それぞれが6つの物語のうちの1つを読み、そのうち3つは文芸誌からのもの、3つはChatGPT 4.0で生成されたもので、人間の原作のテーマ、スタイル、視点に基づいたプロンプトが使用された。半数には物語が人間の手によるものと伝えられ、残りの半数にはChatGPTによるものと伝えられた。AI生成の物語は、知覚される質と没入感において有意に高いスコアを獲得した（平均質1.54対0.97、没入感1.42対1.00）。しかし、物語が人間によって書かれたと伝えられた参加者は、実際の作者に関係なくより高い評価を下した。AIに対して肯定的な態度を持つ参加者は概して高い評価を与え、その評価は物語がChatGPTから来たと伝えられるとさらに高まった。一方、AI懐疑的な参加者では逆の効果が見られた。さらに905人の参加者による2つの追加実験では、それぞれが人間とAIの両方の物語を読み、どちらがどちらであるかを識別しなければならなかったが、やはり偶然のレベルを超えることはなかった。自己報告によるAIシステムへの習熟度は正しい帰属と正の相関を示したが、フィクションへの経験は役に立たなかった。著者らは、AIのテキストは一般的に流暢で、理解しやすく、感情的に肯定的であると示唆しており、これが文学的に優れていることなく高い評価につながる可能性を説明している。質の高いフィクションは意図的に挑戦的であることが多いからだ。研究者らは、AIは人間の作品と少なくとも同等の創造的な作品を生み出せるが、人々はそれをAIの功績とは認めないと結論付けている。データと資料はオープンサイエンスフレームワークで公開されている。