Moonshot AI macht MoonEP als Open Source verfügbar: Eine perfekt ausbalancierte Expert-Parallelitätsbibliothek für MoE-Training

Moonshot AI hat MoonEP geöffnet, eine Kommunikationsbibliothek für Expert Parallelism (EP) für verteilte Mixture-of-Experts (MoE)-Workloads, unter der MIT-Lizenz als Open Source veröffentlicht. MoonEP wurde im Rahmen des Kimi K3 Open Day zusammen mit den K3-Modellgewichten, dem technischen Bericht und anderen Infrastruktur-Codebasen wie FlashKDA und AgentEnv veröffentlicht. Es adressiert das Problem des Router-Ungleichgewichts im Expert Parallelism, indem es eine harte Invariante durchsetzt, dass jeder Rang genau S×K Token erhält, realisiert durch Online-Planung von redundanten Experten, die vor der Berechnung abgerufen werden. Das Design gewährleistet perfektes Gleichgewicht, Online-Planung über einen GPU-Kernel mit vernachlässigbarem Overhead, Zero Copy und statische Formen, die die Synchronisation des Hosts pro Schicht eliminieren. Benchmarks gegen DeepEP v2 zeigen, dass die Kommunikationszeit von MoonEP bei zunehmendem Ungleichgewicht flach bleibt, während DeepEP abfällt. Das Training erfordert B = E/R Prefetch-Slots; die Inferenz kann B = 3–4 ohne korrektheitsbezogene Kosten nutzen.