Show Me The Lord of the Rings! Karpathy Yeni Bir Yapay Zeka Modeli Karşılaştırma Standardı Öneriyor
Anthropic
DeepSeek
Moonshot AI
OpenAI
xAI
Google/DeepMind
ElevenLabs
Andrej Karpathy, Anthropic'in Opus 5 modelinin, Yüzüklerin Efendisi'nin açılış sahnesinden Orta Dünya evrenini Three.js kullanarak oluşturma testiyle değerlendirildiğini duyurdu. Bu test, popüler 'bisiklete binen pelikan' SVG testinin yerini alarak modelleri karmaşık proje planlama ve sürekli kod yazma becerileri açısından değerlendirmeyi amaçlıyor. Ortaya çıkan 3D dünya, kaba olmasına rağmen, mevcut yapay zeka modellerinin hala videoları gerçekten anlayamadığını veya kendi yarattıklarını oynayamadığını gösteriyor.
Andrej Karpathy, Anthropic'in yeni bir benchmark kullandığını açıkladı: Yüzüklerin Efendisi'nin açılışından Orta Dünya dünyasını üretmek. Model Claude Opus 5'e metin ve bir JavaScript kütüphanesi olan Three.js verilerek tarayıcıda etkileşimli bir 3B sahne oluşturması istendi. Opus 5'in demoyu üretmesi 1 milyon token, 2 saat ve 5500 satır kod aldı. Nihai sonuç, erken dönem 3B animasyonları anımsatan, yüzen karakterler ve vücut parçaları gibi sorunları olan kaba bir görüntü. Karpathy, Opus 5'in ürettiği dünyaya gerçekten 'giremeyeceğini' kabul etti; sadece hataları kontrol etmek için farklı zamanlarda ekran görüntüsü alabiliyor. Bu, mevcut LLM'lerin bir zayıflığını vurguluyor: kod yazıp sahneler oluşturabiliyorlar ancak yaptıkları videoları izleyemiyor veya oyunları oynayamıyorlar. Geliştirici Simon Willison tarafından popüler hale getirilen 'bisiklete binen pelikan' SVG testi, modeller bu konuda çok iyi hale geldiği için kullanımdan kaldırılıyor. Yeni benchmark, bir modelin karmaşık bir projeyi planlama, saatlerce çalışma ve binlerce satır kod üzerinde yineleme yapma yeteneğini test etmeyi amaçlıyor. Topluluk tepkileri çeşitliydi: bazıları yeni yönü övdü, bazıları maliyetini ve Three.js'in genel zekayı gerçekten ölçüp ölçmediğini sorguladı. Netizens ayrıca yapay zeka tarafından üretilen bir Kanye West konseri gibi kendi projelerini de oluşturdu ve Karpathy, kaliteyi artırmak için Seedance gibi video işleme ve ElevenLabs gibi ses için API'lerin entegre edilmesini önerdi.
Kaynak: QbitAI 量子位 —
orijinal