Moonshot AI publie MoonEP en open source : une bibliothèque de parallélisme expert parfaitement équilibrée pour l'entraînement des MoE

Moonshot AI a open-sourcé MoonEP, une bibliothèque de communication pour le parallélisme des experts (EP) dédiée aux charges de travail Mixture-of-Experts (MoE) distribuées, sous licence MIT. MoonEP a été publié dans le cadre du Kimi K3 Open Day, accompagné des poids du modèle K3, du rapport technique et d'autres infrastructures logicielles telles que FlashKDA et AgentEnv. Cette bibliothèque résout le problème du déséquilibre des routeurs dans le parallélisme des experts en imposant une contrainte stricte selon laquelle chaque rang reçoit exactement S × K jetons, grâce à une planification en ligne des experts redondants préchargés avant le calcul. La conception garantit un équilibre parfait, une planification en ligne via un noyau GPU avec une surcharge négligeable, zéro copie et des formes statiques éliminant la synchronisation de l'hôte par couche. Les benchmarks par rapport à DeepEP v2 montrent que le temps de communication de MoonEP reste constant à mesure que le déséquilibre augmente, tandis que celui de DeepEP se dégrade. En entraînement, B = E/R slots de préchargement sont nécessaires ; en inférence, B = 3–4 peut être utilisé sans coût supplémentaire de correction.