किमी K3 ओपन-सोर्स: एंथ्रोपिक ने आखिरकार अपने पत्ते खोले

Moonshot AI ने Kimi K3 मॉडल को ओपन-सोर्स कर दिया है, जिसका बेंचमार्क प्रदर्शन Anthropic के Claude Sonnet 4 के बराबर है। ओपन-सोर्स रिलीज़ में मॉडल के वेट और एक तकनीकी रिपोर्ट शामिल हैं। रिपोर्ट से पता चलता है कि Anthropic ने Chinchilla इष्टतम अनुपात का एक बड़ा संस्करण अपनाया है, जो अधिक कुशल प्रशिक्षण के लिए बड़े बैच आकार और उच्च सीखने की दर का समर्थन करता है। Kimi K3 मिश्रित विशेषज्ञ (MoE) आर्किटेक्चर पर आधारित है, जिसमें कुल 48 विशेषज्ञ हैं और प्रति टोकन 2 सक्रिय विशेषज्ञ हैं, जिसमें कुल 264 बिलियन पैरामीटरों में से 37 बिलियन सक्रिय पैरामीटर हैं। मॉडल को स्केलिंग और दक्षता के लिए डिज़ाइन किया गया है, जिसमें 128K संदर्भ लंबाई और FP8 मिश्रित-परिशुद्धता प्रशिक्षण है। Kimi K3 का ओपन-सोर्स होना उन्नत AI तक पहुंच को लोकतांत्रिक बनाने और Anthropic तथा OpenAI जैसे स्थापित खिलाड़ियों को चुनौती देने के कदम के रूप में देखा जाता है।