Üretmesi Ucuz, Doğrulaması Pahalı: Yapay Zekâ Çıktılarının Gizli Maliyeti

Makale, yapay zeka tarafından üretilen içeriklerin doğrulanması zorluğunu ele alıyor ve düşük üretim maliyeti ile yüksek doğrulama maliyeti arasındaki asimetriyi vurguluyor. Ulusal Tayvan Üniversitesi'ndeki araştırmacılar, dil modellerinin farklı kişiler hakkındaki doğrulanabilir gerçekleri birleştirerek var olmayan bir kişinin biyografisini oluşturabildiğini buldu; standart gerçeklik ölçütleri bunu fark edemedi ve varlık belirsizliğine göre ayarlandıktan sonra dört açık modelin puanları %10'un üzerinde düştü. "Verify with Caution" adlı bir çalışma, beş gerçeklik ölçütünü on bir veri setinde test etti ve tutarsızlıklar ile hatalar buldu; özellikle destekleyici metin iddiadan uzak olduğunda sorunlar yaşandı. İnsan deneylerinde, yapay zeka yardımı doğrulamayı hızlandırdı ancak model ikna edici ama yanlış açıklamalar verdiğinde aşırı güvene yol açtı; artıları ve eksileri göstermek bu durumu azalttı ancak aramaya kıyasla önemli bir avantaj sağlamadı. Makale doğrulamayı alanlara göre karşılaştırıyor: kod derleyicilere ve testlere sahip, matematik resmi kanıt doğrulaması kullanır (örneğin, AlphaProof ve AlphaGeometry 2, 2024 Uluslararası Matematik Olimpiyatı'nda dört problemi çözdü), ancak analitik ve strateji doğrulaması daha zordur. Öneriler arasında, önce kaynakları sunmak (Attribute First, then Generate) ve muhakeme adımlarını kontrol etmek için süreç ödülleri (ThinkPRM) kullanmak yer alıyor. Makale ayrıca NIST'in risk temelli yaklaşımından ve Avrupa Yapay Zeka Yasası'ndan bahsediyor; bu yasa, yüksek riskli sistemler için daha fazla dokümantasyon ve gözetim gerektiriyor.