독자들은 챗GPT가 쓴 이야기를 선호하지만 그 사실을 모른다

Judgment and Decision Making 저널에 게재된 한 연구에서 빌라노바 대학교(Villanova University)의 연구자 Sydney Sears와 Deena Skolnick Weisberg는 독자들이 실제 콘텐츠와 인지된 저자 정보를 바탕으로 단편 소설을 어떻게 평가하는지 조사했다. 첫 번째 실험에는 Prolific을 통해 모집된 미국 성인 1,682명이 참여했으며, 이들은 각각 약 1,000단어 분량의 소설을 읽었다. 소설의 절반은 인간이 쓴 것으로 이전에 출판된 작품이었고, 나머지 절반은 GPT-4(Generative Pre-trained Transformer 4)가 생성한 것으로, 각 AI 소설은 주제와 요소 면에서 인간 소설과 짝을 이루도록 만들어졌다. 참가자들에게는 저자가 인간이거나 ChatGPT라고 알려주었지만, 이 정보는 절반의 경우에만 정확했다. 결과에 따르면 AI가 생성한 소설은 인간이 쓴 소설에 비해 몰입도(1.42 대 1.00)와 인지된 품질(1.54 대 0.97)에서 더 높은 평가를 받았다. 그러나 실제 출처와 무관하게, 인간이 썼다고 표기된 소설은 일관되게 더 호의적인 평가를 받았으며, 이러한 효과는 AI에 대해 부정적인 견해를 가진 참가자들 사이에서 더욱 두드러졌다. 짝을 이룬 소설의 출처를 식별해야 했던 905명의 참가자를 대상으로 한 추가 두 실험에서는 각각 40%와 52%만이 정답을 맞혀, 독자들이 AI 텍스트와 인간 텍스트를 신뢰성 있게 구분하지 못한다는 것을 보여주었다. 자가 보고된 문학적 전문성은 도움이 되지 않았지만, AI 도구에 대한 친숙도는 약간의 이점을 제공했다. 연구자들은 AI가 생성한 텍스트가 더 유려하고 이해하기 쉬울 수 있으며, 이것이 더 나은 평가로 이어졌을 가능성을 시사한다고 밝혔다. 다만 이번 연구는 사실적인 단편 소설 세 쌍과 온라인 미국인 표본으로 한정되어 있으며, AI가 일반적으로 더 글을 잘 쓴다는 것을 의미하지는 않는다. 이 결과는 전문성이 정확한 구별을 보장하지 않으며, 인지된 저자 정보가 텍스트 수용에 상당한 영향을 미친다는 점을 강조한다.