Moonshot AI تفتح مصدر مكتبة MoonEP: توازن مثالي لتوازي الخبراء في تدريب MoE

شركة Moonshot AI فتحت مصدر MoonEP، وهي مكتبة اتصالات للتوازي الخبيري (Expert Parallelism) مخصصة لأحمال عمل الخبراء الموزعين (Mixture-of-Experts) تحت رخصة MIT. تم إصدار MoonEP ضمن فعالية Kimi K3 Open Day إلى جانب أوزان نموذج K3 والتقرير الفني وقواعد بيانات بنية تحتية أخرى مثل FlashKDA وAgentEnv. تعالج المكتبة مشكلة عدم التوازن الموجه في التوازي الخبيري من خلال فرض عدم تغير ثابت وهو أن كل رتبة تتلقى بالضبط S×K رمزًا، ويتم تحقيق ذلك من خلال التخطيط الآني للخبراء الزائدين الذين يتم جلبهم مسبقًا قبل الحساب. يضمن التصميم توازنًا مثاليًا، وتخطيطًا آنيًا عبر نواة GPU مع حمل إضافي لا يُذكر، ونسخًا صفريًا، وأشكالًا ثابتة تلغي مزامنة المضيف لكل طبقة. تُظهر المقارنات مع DeepEP v2 أن زمن اتصال MoonEP يبقى ثابتًا مع زيادة عدم التوازن، بينما يتدهور أداء DeepEP. يتطلب التدريب B = E/R فتحة جلب مسبق؛ بينما يمكن للاستدلال استخدام B = 3–4 دون تكلفة صحة.