Độc giả thích truyện do ChatGPT viết nhưng không biết điều đó

Trong một nghiên cứu được công bố trên tạp chí Judgment and Decision Making, hai nhà nghiên cứu Sydney Sears và Deena Skolnick Weisberg thuộc Đại học Villanova đã tìm hiểu cách độc giả đánh giá các truyện ngắn dựa trên nội dung thực tế và nhận thức về tác giả. Thí nghiệm đầu tiên có sự tham gia của 1.682 người trưởng thành tại Mỹ, được tuyển chọn thông qua nền tảng Prolific, mỗi người đọc một truyện dài khoảng 1.000 từ. Một nửa số truyện do con người viết và đã được xuất bản trước đó, nửa còn lại do GPT-4 tạo ra, với mỗi truyện do trí tuệ nhân tạo (AI) viết được ghép tương ứng với một truyện của con người về chủ đề và các yếu tố nội dung. Người tham gia được thông báo tác giả là con người hoặc ChatGPT, nhưng thông tin này chỉ chính xác trong một nửa số trường hợp. Kết quả cho thấy các truyện do AI viết nhận được đánh giá cao hơn về mức độ cuốn hút (1,42 so với 1,00) và chất lượng cảm nhận (1,54 so với 0,97) so với truyện của con người. Tuy nhiên, bất kể nguồn gốc thực sự là gì, những truyện được gắn nhãn là do con người viết luôn được đánh giá thuận lợi hơn một cách nhất quán, và hiệu ứng này càng rõ rệt hơn ở những người có thái độ tiêu cực với AI. Trong hai thí nghiệm tiếp theo với 905 người tham gia, những người phải xác định nguồn gốc của các cặp truyện, chỉ lần lượt 40% và 52% số người đoán đúng, cho thấy độc giả không thể phân biệt một cách đáng tin cậy văn bản do AI viết với văn bản do con người viết. Mức độ am hiểu văn học tự đánh giá không giúp ích gì, dù sự quen thuộc với các công cụ AI mang lại lợi thế nhỏ. Các nhà nghiên cứu cho rằng văn bản do AI tạo ra có thể trôi chảy và dễ hiểu hơn, điều này có thể lý giải cho việc chúng được đánh giá tốt hơn. Tuy nhiên, nghiên cứu này chỉ giới hạn ở ba cặp truyện ngắn mang tính hiện thực và một mẫu khảo sát trực tuyến tại Mỹ, do đó không thể kết luận rằng AI viết hay hơn nói chung. Kết quả nghiên cứu nhấn mạnh rằng sự am hiểu chuyên môn không đảm bảo khả năng phân biệt chính xác, và nhận thức về tác giả có ảnh hưởng đáng kể đến cách văn bản được tiếp nhận.