Moonshot AI lanza en código abierto MoonEP: una biblioteca de paralelismo experto perfectamente equilibrada para entrenamiento MoE

Moonshot AI ha lanzado como código abierto MoonEP, una biblioteca de comunicación de Paralelismo de Expertos (EP) para cargas de trabajo distribuidas de Mezcla de Expertos (MoE), bajo licencia MIT. MoonEP fue publicado como parte del Día de Puertas Abiertas de Kimi K3 junto con los pesos del modelo K3, el informe técnico y otros códigos de infraestructura como FlashKDA y AgentEnv. Aborda el problema del desequilibrio del enrutador en el paralelismo de expertos imponiendo una invariante estricta de que cada rango recibe exactamente S×K tokens, logrado mediante la planificación en línea de expertos redundantes precargados antes del cómputo. El diseño garantiza un equilibrio perfecto, una planificación en línea mediante un kernel de GPU con una sobrecarga insignificante, cero copias y formas estáticas que eliminan la sincronización del host por capas. Las pruebas comparativas con DeepEP v2 muestran que el tiempo de comunicación de MoonEP se mantiene plano a medida que aumenta el desequilibrio, mientras que DeepEP se degrada. El entrenamiento requiere B = E/R ranuras de precarga; la inferencia puede usar B = 3–4 sin coste de corrección.