模型 RSS

开源 🇺🇸

Moonshot AI 开源 MoonEP:用于 MoE 训练的完美平衡专家并行库

Moonshot AI 开源了 MoonEP,这是一个用于分布式混合专家(Mixture-of-Experts, MoE)工作负载的专家并行通信库。MoonEP 通过在线规划冗余专家,确保每个排名(rank)在路由偏斜的情况下也能精确接收到 S×K 个 token。该库以 MIT 许可证发布,是 Kimi K3 开放日的一部分。

Moonshot AIMoonshot AI
MarkTechPost30.07 · 09:01
最新新闻