Компания Moonshot AI открыла исходный код MoonEP: идеально сбалансированная библиотека для параллелизма экспертов при обучении моделей типа MoE
Moonshot AI
Компания Moonshot AI открыла исходный код MoonEP — библиотеки для параллелизма экспертов в распределённых нагрузках Mixture-of-Experts. MoonEP гарантирует, что каждый ранг получает ровно S×K токенов независимо от перекоса маршрутизатора, используя онлайн-планирование избыточных экспертов. Библиотека выпущена под лицензией MIT в рамках Kimi K3 Open Day.
Moonshot AI открыла MoonEP — библиотеку Expert Parallelism (EP) для коммуникаций в распределенных рабочих нагрузках смеси экспертов (MoE), под лицензией MIT. MoonEP была выпущена в рамках Дня открытых дверей Kimi K3 вместе с весами модели K3, техническим отчетом и другими базовыми кодовыми базами: FlashKDA и AgentEnv. Она решает проблему небаланса роутера в экспертной параллельности с помощью
Показать ещё ↓
Источник: MarkTechPost —
оригинал