Độc giả chấm truyện ChatGPT cao hơn truyện người viết, cho đến khi biết nguồn gốc AI

Theo một nghiên cứu của Sydney Sears và Deena Skolnick Weisberg được công bố trên tạp chí Judgment and Decision Making, độc giả không thể phân biệt được một truyện ngắn là do con người viết hay do ChatGPT tạo ra. Trong ba thí nghiệm với hơn 2500 người tham gia, các đối tượng thực hiện việc phân biệt truyện ngắn hư cấu do con người viết với truyện do AI tạo ra không tốt hơn mức xác suất ngẫu nhiên. Trong thí nghiệm đầu tiên, mỗi người trong số 1682 người tham gia đọc một trong sáu truyện, ba truyện lấy từ các tạp chí văn học và ba truyện được tạo ra bằng ChatGPT 4.0, với các câu lệnh dựa trên chủ đề, phong cách và góc nhìn tường thuật của bản gốc do con người viết. Một nửa số người tham gia được thông báo rằng truyện do con người viết, nửa còn lại được thông báo rằng truyện đến từ ChatGPT. Các truyện do AI tạo ra đạt điểm cao hơn đáng kể về chất lượng cảm nhận và mức độ đắm chìm (điểm chất lượng trung bình 1,54 so với 0,97; mức độ đắm chìm 1,42 so với 1,00). Tuy nhiên, những người tham gia được thông báo rằng truyện do con người viết lại đánh giá truyện đó cao hơn, bất kể tác giả thực sự là ai. Những người có thái độ tích cực đối với AI nhìn chung đưa ra đánh giá cao hơn, và mức đánh giá của họ càng tăng thêm khi được thông báo truyện đến từ ChatGPT, trong khi những người hoài nghi về AI lại cho thấy hiệu ứng ngược lại. Trong hai thí nghiệm tiếp theo với 905 người tham gia, mỗi người đọc cả truyện do con người viết lẫn truyện do AI viết và phải xác định đâu là truyện nào, nhưng kết quả vẫn không tốt hơn mức xác suất ngẫu nhiên. Mức độ tự báo cáo về kinh nghiệm sử dụng các hệ thống AI có tương quan thuận với khả năng xác định đúng tác giả, trong khi kinh nghiệm về văn học hư cấu lại không giúp ích gì. Các tác giả cho rằng văn bản do AI tạo ra thường trôi chảy hơn, dễ hiểu hơn và mang cảm xúc tích cực hơn, điều này có thể giải thích cho việc chúng được đánh giá cao hơn mà không hẳn là có giá trị văn học tốt hơn, bởi vì văn học chất lượng thường được cố tình viết theo hướng thách thức người đọc. Các nhà nghiên cứu kết luận rằng AI có thể tạo ra các tác phẩm sáng tạo được cảm nhận là ít nhất tương đương với tác phẩm của con người, nhưng con người lại không ghi nhận công lao đó cho AI. Dữ liệu và tài liệu của nghiên cứu được công khai trên nền tảng Open Science Framework.