मुझे दिखाओ द लॉर्ड ऑफ द रिंग्स! कारपैथी ने LLM के लिए नया बेंचमार्क पेश किया
Anthropic
DeepSeek
Moonshot AI
OpenAI
xAI
Google/DeepMind
ElevenLabs
एंड्रेज कारपैथी ने घोषणा की कि Anthropic के Opus 5 का परीक्षण किया जा रहा है, जो Three.js का उपयोग करके द लॉर्ड ऑफ द रिंग्स की शुरुआत से मध्य-पृथ्वी की दुनिया उत्पन्न करता है। यह बेंचमार्क लोकप्रिय 'पेलिकन साइकिल चला रहा है' SVG परीक्षण की जगह लेता है, जिसका उद्देश्य जटिल प्रोजेक्ट योजना और निरंतर कोडिंग पर मॉडल का मूल्यांकन करना है। परिणामी 3D दुनिया, हालांकि खुरदरी है, यह दर्शाती है कि वर्तमान LLM अभी भी वीडियो को सही मायने में नहीं समझ सकते या अपनी रचनाओं को नहीं खेल सकते।
आंद्रेज करपाथी ने खुलासा किया कि एंथ्रोपिक एलएलएम के लिए एक नए बेंचमार्क का उपयोग कर रहा है: द लॉर्ड ऑफ द रिंग्स की शुरुआत से मिडिल-अर्थ की दुनिया का निर्माण। मॉडल, क्लॉड ओपस 5, को पाठ और थ्री.जेएस, एक जावास्क्रिप्ट लाइब्रेरी, के साथ प्रॉम्प्ट किया गया ताकि ब्राउज़र में एक इंटरैक्टिव 3D दृश्य बनाया जा सके। ओपस 5 को डेमो तैयार करने में 1 मिलियन टोकन, 2 घंटे और 5500 लाइन कोड लगे। अंतिम परिणाम खुरदरा है, जो शुरुआती 3D एनीमेशन की याद दिलाता है, जिसमें तैरते पात्र और शरीर के अंग जैसी समस्याएं हैं। करपाथी ने स्वीकार किया कि ओपस 5 वास्तव में अपनी बनाई दुनिया में 'प्रवेश' नहीं कर सकता; यह केवल अलग-अलग समय पर स्क्रीनशॉट लेकर त्रुटियों की जांच कर सकता है, जो वर्तमान एलएलएम की कमजोरी को उजागर करता है: वे कोड कर सकते हैं और दृश्य बना सकते हैं, लेकिन वे वीडियो नहीं देख सकते या अपने बनाए गेम नहीं खेल सकते। डेवलपर साइमन विलिसन द्वारा लोकप्रिय 'साइकिल चलाता पेलिकन' एसवीजी परीक्षण को चरणबद्ध तरीके से समाप्त किया जा रहा है क्योंकि मॉडल इसमें बहुत अच्छे हो गए हैं। नए बेंचमार्क का उद्देश्य एक मॉडल की जटिल परियोजना की योजना बनाने, घंटों काम करने और हजारों लाइनों पर पुनरावृत्ति करने की क्षमता का परीक्षण करना है। समुदाय की प्रतिक्रियाएं मिश्रित थीं: कुछ ने नई दिशा की प्रशंसा की, कुछ ने इसकी लागत और क्या थ्री.जेएस वास्तव में सामान्य बुद्धि को मापता है, पर सवाल उठाए। नेटिज़न्स ने अपनी परियोजनाएं भी बनाईं, जैसे एआई-जनित कान्ये वेस्ट कॉन्सर्ट, और करपाथी ने गुणवत्ता बढ़ाने के लिए वीडियो रेंडरिंग के लिए सीडेंस और ऑडियो के लिए इलेवनलैब्स जैसे एपीआई को एकीकृत करने का सुझाव दिया।
स्रोत: QbitAI 量子位 —
मूल