Moonshot AI ने MoonEP को ओपन-सोर्स किया: MoE प्रशिक्षण के लिए एक पूर्णतः संतुलित एक्सपर्ट पैरललिज़्म लाइब्रेरी

Moonshot AI ने MoonEP को MIT लाइसेंस के तहत ओपन-सोर्स किया है, जो वितरित Mixture-of-Experts (MoE) कार्यभार के लिए एक Expert Parallelism (EP) संचार लाइब्रेरी है। MoonEP को Kimi K3 Open Day पर K3 मॉडल वेट्स, टेक्निकल रिपोर्ट और अन्य इंफ्रास्ट्रक्चर कोडबेस FlashKDA और AgentEnv के साथ जारी किया गया था। यह एक्सपर्ट पैरेललिज्म में राउटर असंतुलन की समस्या का समाधान करता है, एक कठोर इन्वेरिएंट लागू करके कि हर रैंक को बिल्कुल S×K टोकन प्राप्त होते हैं, जो गणना से पहले प्रीफ़ेच किए गए रिडंडेंट एक्सपर्ट्स की ऑनलाइन योजना के माध्यम से प्राप्त होता है। डिज़ाइन पूर्ण संतुलन सुनिश्चित करता है, नगण्य ओवरहेड के साथ GPU कर्नेल के माध्यम से ऑनलाइन योजना, जीरो कॉपी और स्थिर आकार जो प्रति-परत होस्ट सिंक्रनाइज़ेशन को समाप्त करते हैं। DeepEP v2 के विरुद्ध बेंचमार्क दर्शाते हैं कि MoonEP संचार समय असंतुलन बढ़ने पर स्थिर रहता है, जबकि DeepEP घटता है। प्रशिक्षण के लिए B = E/R प्रीफ़ेच स्लॉट आवश्यक हैं; इन्फेरेंस B = 3–4 का उपयोग बिना किसी शुद्धता हानि के कर सकता है।