Pembaca Lebih Suka Cerita ChatGPT tetapi Tidak Menyadarinya

Dalam sebuah studi yang diterbitkan di Judgment and Decision Making, peneliti Sydney Sears dan Deena Skolnick Weisberg dari Villanova University menyelidiki bagaimana pembaca mengevaluasi cerita pendek berdasarkan konten aktual dan persepsi kepenulisan. Eksperimen pertama melibatkan 1.682 orang dewasa Amerika yang direkrut melalui Prolific, yang masing-masing membaca cerita sekitar 1.000 kata. Setengah dari cerita ditulis oleh manusia dan telah diterbitkan sebelumnya, sementara setengah lainnya dihasilkan oleh GPT-4, dengan setiap cerita AI disesuaikan dengan tema dan elemen cerita manusia. Peserta diberitahu bahwa penulisnya adalah manusia atau ChatGPT, tetapi informasi ini akurat hanya setengah dari waktu. Hasilnya menunjukkan bahwa cerita yang dihasilkan AI menerima peringkat yang lebih tinggi untuk penyerapan (1,42 vs. 1,00) dan kualitas yang dirasakan (1,54 vs. 0,97) dibandingkan dengan cerita manusia. Namun, terlepas dari asal-usul sebenarnya, cerita yang diberi label sebagai manusia secara konsisten dinilai lebih baik, dan efek ini lebih kuat di antara peserta dengan pandangan negatif terhadap AI. Dalam dua eksperimen lebih lanjut dengan 905 peserta yang harus mengidentifikasi asal-usul cerita berpasangan, hanya 40% dan 52% yang berhasil, menunjukkan bahwa pembaca tidak dapat membedakan teks AI dari teks manusia dengan andal. Keahlian sastra yang dilaporkan sendiri tidak membantu, meskipun keakraban dengan alat AI memberikan sedikit keuntungan. Para peneliti menyarankan bahwa teks yang dihasilkan AI mungkin lebih lancar dan lebih mudah dipahami, yang dapat menjelaskan evaluasi yang lebih baik. Namun, studi ini terbatas pada tiga pasang cerita realistis pendek dan sampel online Amerika, dan tidak menyiratkan bahwa AI menulis lebih baik secara umum. Hasilnya menekankan bahwa keahlian tidak menjamin diskriminasi yang akurat dan bahwa persepsi kepenulisan secara signifikan memengaruhi penerimaan teks.