Okuyucular, Yapay Zeka Kökenini Öğrenene Kadar ChatGPT Hikayelerini İnsan Hikayelerinden Daha Yüksek Puanlıyor
OpenAI
Yeni bir çalışma, okuyucuların ChatGPT tarafından üretilen kısa öyküleri insan yazımı olanlardan ayırt edemediğini ve hatta kalite ve sürükleyicilik açısından yapay zeka metinlerini daha iyi değerlendirdiğini gösteriyor, ancak bu yalnızca hikayelerin bir insan tarafından yazıldığına inandıkları sürece geçerli. Çalışma, üç deneyde 2500'den fazla katılımcıyı içeriyordu ve sonuçlar Judgment and Decision Making dergisinde yayımlandı.
Sydney Sears ve Deena Skolnick Weisberg'in Judgment and Decision Making dergisinde yayınlanan bir araştırmasına göre, okuyucular kısa bir öykünün insan tarafından mı yoksa ChatGPT tarafından mı yazıldığını ayırt edemiyor. 2500'den fazla katılımcıyla yapılan üç deneyde, denekler insan yazımı ve yapay zeka tarafından üretilen kurgusal kısa öyküleri ayırt etmede şanstan daha iyi performans gösteremedi. İlk deneyde, 1682 katılımcının her biri, üçü edebiyat dergilerinden ve üçü ChatGPT 4.0 ile üretilen, insan orijinallerinin temasına, stiline ve anlatı perspektifine dayalı istemlerle oluşturulan altı öyküden birini okudu. Yarısına öykünün insan tarafından yazıldığı, yarısına ChatGPT'den olduğu söylendi. Yapay zeka tarafından üretilen öyküler, algılanan kalite ve sürükleyicilik açısından önemli ölçüde daha yüksek puan aldı (ortalama kalite 1,54'e karşı 0,97; sürükleyicilik 1,42'ye karşı 1,00). Bununla birlikte, bir öykünün insan tarafından yazıldığı söylenen katılımcılar, gerçek yazarlıktan bağımsız olarak onu daha yüksek puanladı. Yapay zekaya karşı olumlu tutumları olanlar genel olarak daha yüksek puanlar verdi ve öykünün ChatGPT'den geldiği söylendiğinde puanları daha da arttı; yapay zeka şüphecisi katılımcılar ise tam tersi etki gösterdi. 905 katılımcıyla yapılan iki ileri deneyde, her biri hem insan hem de yapay zeka öykülerini okudu ve hangisinin hangisi olduğunu belirlemek zorundaydı, ancak yine de şanstan daha iyi performans gösteremediler. Kendi bildirdikleri yapay zeka sistemleri deneyimi, doğru atıfla pozitif korelasyon gösterdi; kurgu deneyimi ise yardımcı olmadı. Yazarlar, yapay zeka metinlerinin tipik olarak daha akıcı, anlaşılması daha kolay ve duygusal olarak daha olumlu olduğunu, bunun edebi olarak daha iyi olmadan daha yüksek puanları açıklayabileceğini öne sürüyorlar; çünkü kaliteli kurgu genellikle kasıtlı olarak zorlayıcıdır. Araştırmacılar, yapay zekanın en azından insan çalışmalarına eşdeğer olarak algılanan yaratıcı eserler üretebileceği sonucuna varıyor; ancak insanlar bunun için yapay zekayı takdir etmiyor. Veriler ve materyaller Open Science Framework'te açıkça mevcuttur.
Kaynak: The Decoder (DE) —
orijinal