Moonshot AI, MoE 훈련을 위한 완벽하게 균형 잡힌 전문가 병렬 라이브러리 MoonEP 오픈소스화

Moonshot AI가 Mixture-of-Experts(MoE) 분산 작업을 위한 Expert Parallelism(EP) 통신 라이브러리인 MoonEP를 MIT 라이선스로 오픈소스화했습니다. MoonEP는 Kimi K3 오픈 데이에서 K3 모델 가중치, 기술 보고서, 그리고 다른 인프라 코드베이스인 FlashKDA 및 AgentEnv와 함께 공개되었습니다. 이 라이브러리는 각 랭크가 정확히 S×K 개의 토큰을 수신하도록 하는 강력한 불변 조건을 적용하여 전문가 병렬 처리에서 라우터 불균형 문제를 해결합니다. 이는 계산 전에 중복 전문가를 프리페치하는 온라인 계획을 통해 달성됩니다. 설계는 완벽한 균형, GPU 커널을 통한 무시할 수 있는 오버헤드의 온라인 계획, 제로 카피, 정적 형태를 보장하여 레이어별 호스트 동기화를 제거합니다. DeepEP v2와의 벤치마크 결과, MoonEP는 불균형이 증가해도 통신 시간이 일정하게 유지되는 반면, DeepEP는 성능이 저하됩니다. 학습에는 B = E/R 개의 프리페치 슬롯이 필요하며, 추론에는 정확성 손실 없이 B = 3–4를 사용할 수 있습니다.