독자들은 챗GPT가 쓴 이야기를 인간이 쓴 이야기보다 높게 평가하다가, AI 출처를 알게 되면 평가가 바뀐다

시드니 시어스와 디나 스콜닉 와이스버그가 학술지 《판단과 의사결정》에 발표한 연구에 따르면, 독자들은 단편소설이 인간이 쓴 것인지 챗GPT가 생성한 것인지 구별하지 못하는 것으로 나타났다. 2500명 이상의 참가자를 대상으로 한 세 가지 실험에서, 피험자들은 인간이 쓴 소설과 AI가 생성한 허구의 단편소설을 구별하는 데 우연 수준 이상의 성과를 내지 못했다. 첫 번째 실험에서 1682명의 참가자 각각은 여섯 편의 이야기 중 하나를 읽었는데, 세 편은 문학 잡지에서, 세 편은 챗GPT 4.0으로 생성되었으며, 생성 프롬프트는 인간 원작의 주제, 스타일, 서술 관점에 기반했다. 참가자의 절반은 이야기가 인간이 쓴 것이라고, 나머지 절반은 챗GPT가 쓴 것이라고 들었다. AI가 생성한 이야기는 지각된 품질과 몰입도에서 유의미하게 더 높은 점수를 받았다(품질 평균 1.54 대 0.97, 몰입도 1.42 대 1.00). 그러나 이야기가 인간이 쓴 것이라고 들은 참가자들은 실제 작가에 관계없이 더 높게 평가했다. AI에 대해 긍정적인 태도를 가진 참가자들은 일반적으로 더 높은 평가를 내렸고, 이야기가 챗GPT에서 나왔다고 들었을 때 평가가 더욱 높아졌지만, AI 회의론자 참가자들은 반대 효과를 보였다. 905명의 참가자를 대상으로 한 두 가지 추가 실험에서, 각 참가자는 인간과 AI의 이야기를 모두 읽고 어느 것이 어느 것인지 식별해야 했지만, 여전히 우연 수준을 넘지 못했다. AI 시스템에 대한 자가 보고된 경험은 올바른 귀인과 양의 상관관계를 보였지만, 소설에 대한 경험은 도움이 되지 않았다. 연구자들은 AI 텍스트가 일반적으로 더 유창하고 이해하기 쉬우며 감정적으로 더 긍정적이어서, 문학적으로 더 우수하지 않음에도 불구하고 더 높은 평가를 받을 수 있다고 제안한다. 질 높은 소설은 종종 의도적으로 도전적이기 때문이다. 연구자들은 AI가 인간의 작업과 적어도 동등한 것으로 인식되는 창의적인 작품을 생산할 수 있지만, 사람들은 AI의 공로를 인정하지 않는다고 결론 내린다. 데이터와 자료는 오픈 사이언스 프레임워크에서 공개적으로 이용할 수 있다.