Moonshot AI, MoonEP'yi Açık Kaynak Olarak Yayınladı: MoE Eğitimi için Mükemmel Dengeli Uzman Paralelliği Kütüphanesi

Moonshot AI, MoonEP adlı bir Uzman Paralelliği (EP) iletişim kütüphanesini MIT lisansı altında açık kaynak olarak yayımladı. Bu kütüphane, dağıtık Uzmanlar Karışımı (MoE) iş yükleri için tasarlanmıştır. MoonEP, Kimi K3 Açık Günü etkinliğinde K3 model ağırlıkları, teknik rapor ve diğer altyapı kod tabanları olan FlashKDA ile AgentEnv ile birlikte duyuruldu. Kütüphane, uzman paralelliğindeki yönlendirici dengesizliği sorununu, her bir sıranın tam olarak S×K token almasını zorunlu kılan katı bir değişmez kural uygulayarak çözer. Bu, hesaplama öncesinde getirilen gereksiz uzmanların çevrim içi planlaması ile sağlanır. Tasarım, mükemmel denge, GPU çekirdeği aracılığıyla ihmal edilebilir ek yüke sahip çevrim içi planlama, sıfır kopyalama ve katman başına ana bilgisayar senkronizasyonunu ortadan kaldıran statik şekiller sunar. DeepEP v2'ye karşı yapılan kıyaslamalarda, MoonEP'in iletişim süresi dengesizlik arttıkça sabit kalırken, DeepEP'te bozulma gözlemlenmiştir. Eğitim için B = E/R ön getirme yuvası gerekir; çıkarım için doğruluk maliyeti olmaksızın B = 3–4 kullanılabilir.