Pembaca Menilai Cerita ChatGPT Lebih Baik daripada Cerita Manusia Sampai Mereka Tahu Asal AI
OpenAI
Sebuah studi baru menunjukkan bahwa pembaca tidak dapat membedakan cerita pendek yang dihasilkan oleh ChatGPT dari cerita yang ditulis manusia, dan bahkan menilai teks AI lebih baik dalam hal kualitas dan imersi—tetapi hanya selama mereka percaya cerita tersebut ditulis oleh manusia. Studi ini melibatkan lebih dari 2500 peserta dalam tiga eksperimen, dengan hasil yang dipublikasikan di jurnal Judgment and Decision Making.
Menurut sebuah studi yang dilakukan oleh Sydney Sears dan Deena Skolnick Weisberg yang diterbitkan dalam jurnal Judgment and Decision Making, pembaca tidak mampu membedakan apakah sebuah cerita pendek ditulis oleh manusia atau dihasilkan oleh ChatGPT. Dalam tiga eksperimen dengan lebih dari 2500 partisipan, subjek tidak berkinerja lebih baik daripada kebetulan dalam membedakan cerita pendek fiksi yang ditulis manusia dari yang dihasilkan AI. Pada eksperimen pertama, masing-masing dari 1682 partisipan membaca satu dari enam cerita, tiga dari majalah sastra dan tiga dihasilkan dengan ChatGPT 4.0, dengan prompt yang didasarkan pada tema, gaya, dan sudut pandang naratif dari cerita asli yang ditulis manusia. Setengah diberitahu bahwa cerita itu ditulis manusia, setengahnya lagi bahwa itu dari ChatGPT. Cerita yang dihasilkan AI mendapat skor yang secara signifikan lebih tinggi pada kualitas yang dirasakan dan imersi (rata-rata kualitas 1,54 vs 0,97; imersi 1,42 vs 1,00). Namun, partisipan yang diberitahu bahwa sebuah cerita ditulis manusia memberinya peringkat lebih tinggi, terlepas dari penulis sebenarnya. Mereka yang memiliki sikap positif terhadap AI memberikan peringkat yang umumnya lebih tinggi, dan peringkat mereka semakin meningkat ketika diberitahu bahwa cerita itu berasal dari ChatGPT, sementara partisipan yang skeptis terhadap AI menunjukkan efek sebaliknya. Dalam dua eksperimen selanjutnya dengan 905 partisipan, masing-masing membaca cerita manusia dan AI dan harus mengidentifikasi mana yang mana, tetapi masih tidak lebih baik daripada kebetulan. Pengalaman yang dilaporkan sendiri dengan sistem AI berkorelasi positif dengan atribusi yang benar, sementara pengalaman dengan fiksi tidak membantu. Para penulis menunjukkan bahwa teks AI biasanya lebih lancar, lebih mudah dipahami, dan secara emosional lebih positif, yang mungkin menjelaskan peringkat yang lebih tinggi tanpa menjadi lebih baik secara sastra, karena fiksi berkualitas seringkali sengaja menantang. Para peneliti menyimpulkan bahwa AI dapat menghasilkan karya kreatif yang dianggap setidaknya setara dengan karya manusia, tetapi orang tidak memberikan penghargaan kepada AI untuk itu. Data dan materi tersedia secara terbuka di Open Science Framework.
Sumber: The Decoder (DE) —
asli