Kimi K3: Moonshot AI ने 2.8 ट्रिलियन पैरामीटर वाले मॉडल के वेट जारी किए
Moonshot AI
DeepSeek
Anthropic
OpenAI
Moonshot AI ने Kimi K3, एक 2.8 ट्रिलियन पैरामीटर वाले MoE मॉडल के ओपन वेट जारी किए हैं, साथ ही एक तकनीकी रिपोर्ट और तीन आंतरिक टूल्स भी प्रस्तुत किए हैं। स्वतंत्र बेंचमार्क में Artificial Analysis इंडेक्स पर 57 अंकों के साथ यह ओपन मॉडल्स में पहले स्थान पर है, हालांकि व्यावहारिक तैनाती के लिए 1.4 TB वेट आकार के कारण मल्टी-जीपीयू सर्वर की आवश्यकता होगी।
27 जुलाई को, Moonshot AI ने Kimi K3 के वेट जारी किए, जो 2.8 ट्रिलियन पैरामीटर वाला एक MoE मॉडल है जिसमें 896 विशेषज्ञ (प्रति टोकन 16 सक्रिय, ~50B सक्रिय पैरामीटर) और 1M टोकन कॉन्टेक्स्ट है। Artificial Analysis इंडेक्स पर इसका स्कोर 57 है, जो कुल मिलाकर चौथा और ओपन मॉडल्स में पहला स्थान है, जो GLM-5.2 (51) और DeepSeek V4 Pro (44) से आगे है। यह LMArena Frontend Code Arena में भी शीर्ष पर रहा, जिसने 76% ब्लाइंड तुलनाओं में Claude Fable 5 को हराया। आर्किटेक्चर में Kimi Delta Attention और Attention Residuals का उपयोग किया गया है, जो कंपनी की आंतरिक रिपोर्ट के अनुसार K2 की तुलना में 2.5 गुना स्केलिंग दक्षता प्रदान करता है। वेट MXFP4 क्वांटाइज़ेशन में भी लगभग 1.4 टेराबाइट (TB) स्थान घेरते हैं, जिसके लिए मल्टी-ग्राफिक्स प्रोसेसिंग यूनिट (GPU) सर्वर कॉन्फ़िगरेशन की आवश्यकता होती है। Moonshot ने FlashKDA (अटेंशन के लिए कंप्यूट यूनिफाइड डिवाइस आर्किटेक्चर /CUDA/ कर्नेल), MoonEP (एक्सपर्ट पैरेललिज़्म लाइब्रेरी), और AgentENV (एजेंट ट्रेनिंग के लिए सैंडबॉक्स एनवायरनमेंट) भी ओपन-सोर्स किए हैं। लाइसेंस कस्टम है, जिसमें 100 मिलियन से अधिक मासिक सक्रिय उपयोगकर्ताओं या 20 मिलियन डॉलर मासिक राजस्व वाले उत्पादों के लिए ब्रांड प्रदर्शन की आवश्यकता है, और MaaS प्रदाताओं के लिए अलग समझौते हैं। Together AI, Fireworks, DigitalOcean, Nebius, Baseten, Modal, और vLLM द्वारा समर्थन की घोषणा की गई है। API की कीमत 3 डॉलर प्रति मिलियन इनपुट टोकन, 15 डॉलर प्रति मिलियन आउटपुट टोकन, और कैश्ड इनपुट के लिए 0.30 डॉलर है।
स्रोत: Habr — хаб ИИ —
मूल