Moonshot AI Buka Sumber MoonEP: Pustaka Paralelisme Pakar yang Seimbang Sempurna untuk Pelatihan MoE

Moonshot AI telah membuka sumber MoonEP, sebuah pustaka komunikasi Expert Parallelism (EP) untuk beban kerja Mixture-of-Experts (MoE) terdistribusi, di bawah lisensi MIT. MoonEP dirilis sebagai bagian dari Kimi K3 Open Day bersama dengan bobot model K3, laporan teknis, dan basis kode infrastruktur lainnya seperti FlashKDA dan AgentEnv. Pustaka ini mengatasi masalah ketidakseimbangan router dalam paralelisme ahli dengan memberlakukan invarian keras bahwa setiap peringkat menerima tepat S×K token, yang dicapai melalui perencanaan daring pakar redundan yang diambil sebelum komputasi. Desain ini memastikan keseimbangan sempurna, perencanaan daring melalui kernel GPU dengan overhead yang dapat diabaikan, tanpa salinan dan bentuk statis yang menghilangkan sinkronisasi host per lapisan. Tolok ukur terhadap DeepEP v2 menunjukkan bahwa waktu komunikasi MoonEP tetap datar seiring meningkatnya ketidakseimbangan, sementara DeepEP menurun. Pelatihan memerlukan slot prefetch B = E/R; inferensi dapat menggunakan B = 3–4 tanpa biaya kebenaran.