Moonshot AI открывает исходный код MoonEP: идеально сбалансированная библиотека экспертного параллелизма для обучения MoE
Moonshot AI
Moonshot AI опубликовала MoonEP, библиотеку коммуникаций для экспертного параллелизма в распределенных вычислениях Mixture-of-Experts. MoonEP гарантирует, что каждый ранг получает ровно S×K токенов независимо от перекоса маршрутизатора, используя онлайн-планируемые избыточные эксперты. Библиотека выпущена под лицензией MIT в рамках Kimi K3 Open Day.
Moonshot AI открыла MoonEP — библиотеку Expert Parallelism (EP) для коммуникаций в распределенных рабочих нагрузках смеси экспертов (MoE), под лицензией MIT. MoonEP была выпущена в рамках Дня открытых дверей Kimi K3 вместе с весами модели K3, техническим отчетом и другими базовыми кодовыми базами: FlashKDA и AgentEnv. Она решает проблему небаланса роутера в экспертной параллельности с помощью
Показать ещё ↓
Источник: MarkTechPost —
оригинал