Moonshot AI、MoEトレーニング用の完璧にバランスの取れたエキスパート並列ライブラリMoonEPをオープンソース化

Moonshot AIは、分散型混合専門家（MoE）ワークロード向けの専門家並列性（EP）通信ライブラリ「MoonEP」をMITライセンスでオープンソース化しました。MoonEPは、Kimi K3のオープンデイで、K3モデルの重み、技術レポート、およびその他のインフラストラクチャコードベース（FlashKDAやAgentEnv）とともにリリースされました。このライブラリは、各ランクが正確にS×Kトークンを受け取るというハードな不変条件を強制することで、専門家並列性におけるルーターの不均衡問題に対処します。これは、計算前にプリフェッチされる冗長専門家のオンラインプランニングによって実現されます。設計は完全なバランスを保証し、GPUカーネルを介したオンラインプランニングはオーバーヘッドが無視できるほど小さく、ゼロコピーと静的シェイプによりレイヤーごとのホスト同期を排除します。DeepEP v2とのベンチマーク比較では、MoonEPの通信時間は不均衡が増加しても一定に保たれる一方、DeepEPは劣化します。トレーニングにはB = E/Rのプリフェッチスロットが必要です。推論では、正しさに影響を与えることなく、B = 3～4を使用できます。