Moonshot AI ने लोकप्रिय Kimi-K3 के वेट जारी किए — बाजार के नेताओं के लगभग बराबर, लेकिन चलाने में बहुत सरल

Moonshot AI ने अपने Kimi-K3 मॉडल के वेट मुफ्त में जारी कर दिए हैं, जिससे पर्याप्त कंप्यूट संसाधनों वाला कोई भी व्यक्ति इसे स्थानीय रूप से चला सकता है। यह मॉडल OpenAI GPT और Anthropic Claude की पिछली पीढ़ियों से काफी बेहतर प्रदर्शन करता है, और नवीनतम Sol तथा Fable मॉडलों से केवल थोड़ा पीछे है। Kimi-K3 को संचालित करने की लागत अमेरिकी समकक्षों की तुलना में 2-3 गुना सस्ती है, और कोडिंग कार्यों पर कैश हिट के साथ, लागत $0.30 प्रति मिलियन टोकन तक गिर जाती है, जबकि मानक इनपुट मूल्य $3 है। यह दक्षता संभवतः MXFP4 का उपयोग वेट स्टोरेज के लिए और MXFP8 का एक्टिवेशन के लिए करने से आती है, ये दोनों निम्न-परिशुद्धता प्रारूप हैं जो मेमोरी बचाते हैं। इसके 2.8 ट्रिलियन पैरामीटर्स में से केवल 104.2 बिलियन एक साथ सक्रिय होते हैं। यह मॉडल Nvidia H20 एक्सेलेरेटर्स पर चलने के लिए डिज़ाइन किया गया है, जिनमें मूल MX फ्लोटिंग-पॉइंट समर्थन का अभाव है, लेकिन यह Blackwell चिप्स पर और भी अधिक कुशलता से चल सकता है। Kimi-K3 की-वैल्यू कैश को किमी डेल्टा अटेंशन नामक एक निश्चित-आकार के स्टेट हैंडलर से बदल देता है, और MoE का उपयोग करता है जिसमें 896 में से केवल 16 विशेषज्ञ सक्रिय होते हैं। हालांकि, केवल वेट ही खुले हैं; प्रशिक्षण प्रक्रिया और डेटासेट मालिकाना बने हुए हैं।