बाइटडांस ने चीन का सबसे बड़ा एआई मॉडल बनाया
ByteDance
Moonshot AI
Anthropic
xAI
बाइटडांस दस ट्रिलियन पैरामीटर तक का एआई मॉडल प्रशिक्षित कर रहा है, जो चीन के सबसे बड़े मूनशॉट के किमी K3 से तीन गुना बड़ा है। यह एंथ्रोपिक के मिथोस 5 का मुकाबला कर सकता है, जिसका अनुमान लगभग आठ ट्रिलियन पैरामीटर है। मॉडल प्री-ट्रेनिंग में है, और कंपनी ने कथित तौर पर डिस्टिलेशन छोड़ दिया है।
फाइनेंशियल टाइम्स की रिपोर्ट के अनुसार, ByteDance एक ऐसा AI (आर्टिफिशियल इंटेलिजेंस) मॉडल तैयार कर रहा है जिसमें दस ट्रिलियन तक पैरामीटर हो सकते हैं, जिससे यह चीन का अब तक का सबसे बड़ा मॉडल बन जाएगा। यह Moonshot के Kimi K3 से तीन गुना बड़ा है, जो अब तक चीन का सबसे बड़ा मॉडल माना जाता था, और यह Anthropic के Mythos 5 के आसपास पहुंच रहा है, जिसके बारे में उद्योग जगत के अनुमानों का कहना है कि इसमें लगभग आठ ट्रिलियन पैरामीटर हैं, हालांकि Anthropic ने आधिकारिक तौर पर यह आंकड़ा जारी नहीं किया है।
फाइनेंशियल टाइम्स से बात करने वाले तीन सूत्रों ने बताया कि यह मॉडल फिलहाल प्री-ट्रेनिंग (पूर्व-प्रशिक्षण) चरण में है, जो आमतौर पर तीन से छह महीने तक चलता है। पैरामीटर यह तय करते हैं कि कोई मॉडल कितनी जानकारी संग्रहीत कर सकता है, लेकिन प्रदर्शन डेटा की गुणवत्ता और प्रशिक्षण के तरीकों पर भी निर्भर करता है। एक सूत्र ने बताया कि ByteDance ने एक साल से अधिक समय से डिस्टिलेशन यानी अन्य मॉडलों के आउटपुट पर फाइन-ट्यूनिंग करने से परहेज किया है।
संस्थापक झांग यिमिंग (Zhang Yiming) ने 2,000 सदस्यों वाली Seed टीम से आग्रह किया है कि वे दीर्घकाल में दुनिया की अग्रणी मॉडल क्षमताओं को हासिल करने का लक्ष्य रखें। इस बीच, एलन मस्क की xAI कथित तौर पर अपने Colossus 2 क्लस्टर पर छह और दस ट्रिलियन पैरामीटर वाले Grok के वेरिएंट प्रशिक्षित कर रही है।
स्रोत: The Decoder (DE) —
मूल
