Okurlar ChatGPT Hikayelerini Tercih Ediyor Ama Bilmiyorlar

Judgment and Decision Making dergisinde yayınlanan bir çalışmada, Villanova Üniversitesi'nden araştırmacılar Sydney Sears ve Deena Skolnick Weisberg, okuyucuların kısa öyküleri gerçek içerik ve algılanan yazarlık temelinde nasıl değerlendirdiğini inceledi. İlk deneyde, Prolific üzerinden temin edilen 1.682 Amerikalı yetişkin yer aldı ve her biri yaklaşık 1.000 kelimelik bir öykü okudu. Öykülerin yarısı insanlar tarafından yazılmış ve daha önce yayınlanmışken, diğer yarısı GPT-4 tarafından üretildi; her yapay zeka öyküsü, bir insan öyküsüyle tema ve unsurlar açısından eşleştirildi. Katılımcılara yazarın bir insan veya ChatGPT olduğu söylendi, ancak bu bilgi yalnızca yarısında doğruydu. Sonuçlar, yapay zeka tarafından üretilen öykülerin, insan öykülerine kıyasla sürükleyicilik (1.42'ye karşı 1.00) ve algılanan kalite (1.54'e karşı 0.97) açısından daha yüksek puanlar aldığını gösterdi. Ancak, gerçek köken ne olursa olsun, insan olarak etiketlenen öyküler her zaman daha olumlu değerlendirildi ve bu etki, yapay zekaya olumsuz bakan katılımcılar arasında daha güçlüydü. İki ileri deneyde, eşleştirilmiş öykülerin kökenini belirlemek zorunda olan 905 katılımcının yalnızca sırasıyla %40'ı ve %52'si başarılı oldu; bu da okuyucuların yapay zeka metinlerini güvenilir şekilde ayırt edemediğini gösterdi. Kendi bildirdikleri edebi uzmanlık yardımcı olmadı; ancak yapay zeka araçlarına aşinalık hafif bir avantaj sağladı. Araştırmacılar, yapay zeka tarafından üretilen metinlerin daha akıcı ve anlaşılması daha kolay olabileceğini ve bunun daha iyi değerlendirilmelerini açıklayabileceğini öne sürüyor. Ancak çalışma, üç çift kısa gerçekçi öykü ve çevrimiçi Amerikalı bir örneklem ile sınırlıdır ve genel olarak yapay zekanın daha iyi yazdığı anlamına gelmez. Sonuçlar, uzmanlığın doğru ayırt etmeyi garanti etmediğini ve algılanan yazarlığın metin alımını önemli ölçüde etkilediğini vurgulamaktadır.