Yeni Kıyaslama Doğruluyor: Yapay Zeka Modelleri Hâlâ Kötü Görüyor

Moonshot AI, Kimi'nin arkasındaki ekip, multimodal dil modellerinde görsel algıyı izole bir şekilde test etmek için tasarlanmış bir kıyaslama aracı olan PerceptionBench'i yayınladı. Yaygın kıyaslamaların aksine, PerceptionBench görüşü on atomik alt beceriye ayırır ve her soru yalnızca bakarak, akıl yürütme veya dış bilgi olmadan yanıtlanabilir. Sınıflandırma, gerçek model hatalarından türetilmiş olup Görsel İlişki, Sayma, Nitelik, Derinlik ve 3B, Yerelleştirme, Karşılaştırma, İnce Taneli Tanıma, Bağlam Entegrasyonu, Optik Karakter Tanıma ve Halüsinasyon gibi alanlara ayrılmıştır. Moonshot AI, 17.000'den fazla doğrulanmış iç havuzdan 3.000 soru yayınladı. 16 öncü model arasında en yüksek genel doğruluk oranı %59,7 ile GPT-5.6 Sol'a ait; onu %58,5 ile Kimi K3, %57,2 ile Claude Fable 5 ve %56,2 ile Gemini 3.1 Pro takip ediyor. Açık kaynaklı modeller önemli ölçüde geride kalıyor. Halüsinasyon kategorisi ortalama olarak en zayıf olanıdır: GPT-5.6 Sol burada yalnızca %26,9 alırken, daha zayıf olan Gemini 3.5 Flash %50,6 alıyor. Yazarlar, algılanan birçok akıl yürütme hatasının aslında algı düzeyinde meydana geldiğini savunuyor. Moonshot AI daha önce WorldVQA'yı yayınlamış ve öncü modellerin temel görsel görevlerde başarısız olduğunu ve insanların onlardan daha iyi performans gösterdiğini gösteren BabyVision'a katkıda bulunmuştu. Araştırmacılar bunu sözlü ifade darboğazına bağlıyor.