Moonshot AI open-sourcet MoonEP: een perfect gebalanceerde expert-parallelisme-bibliotheek voor MoE-training

Moonshot AI heeft MoonEP geopend, een Expert Parallelism (EP)-communicatiebibliotheek voor gedistribueerde Mixture-of-Experts (MoE)-workloads, onder MIT-licentie. MoonEP werd uitgebracht als onderdeel van de Kimi K3 Open Day, samen met de K3-modelgewichten, het technisch rapport en andere infrastructuurcodebases FlashKDA en AgentEnv. Het pakt het probleem van routerbalans in expertparallelisme aan door een harde invariant af te dwingen dat elke rang exact S×K tokens ontvangt, bereikt door online planning van redundante experts die vóór de berekening worden opgehaald. Het ontwerp garandeert perfecte balans, online planning via een GPU-kernel met verwaarloosbare overhead, zero copy en statische vormen die per-laag hostsynchronisatie elimineren. Benchmarks tegen DeepEP v2 tonen aan dat MoonEP-communicatietijd vlak blijft naarmate de onbalans toeneemt, terwijl DeepEP degradeert. Training vereist B = E/R prefetch-sleuven; inferentie kan B = 3–4 gebruiken zonder correctheidskosten.