Moonshot AI mã nguồn mở MoonEP: Thư viện Song song Chuyên gia Cân bằng Hoàn hảo cho Huấn luyện MoE

Moonshot AI đã mã nguồn mở MoonEP, một thư viện giao tiếp Expert Parallelism (song song chuyên gia - EP) cho các khối lượng công việc Mixture-of-Experts (hỗn hợp chuyên gia - MoE) phân tán, theo giấy phép MIT. MoonEP được phát hành trong khuôn khổ Kimi K3 Open Day cùng với trọng số mô hình K3, báo cáo kỹ thuật và các cơ sở mã hạ tầng khác như FlashKDA và AgentEnv. Thư viện giải quyết vấn đề mất cân bằng router trong song song chuyên gia bằng cách áp đặt một bất biến cứng rằng mọi rank đều nhận chính xác S×K token, đạt được thông qua lập kế hoạch trực tuyến các chuyên gia dự phòng được tìm nạp trước khi tính toán. Thiết kế đảm bảo cân bằng hoàn hảo, lập kế hoạch trực tuyến thông qua một nhân GPU với chi phí không đáng kể, sao chép không và hình dạng tĩnh loại bỏ đồng bộ hóa máy chủ trên mỗi lớp. Các điểm chuẩn so với DeepEP v2 cho thấy thời gian giao tiếp của MoonEP ổn định khi mất cân bằng tăng lên, trong khi DeepEP suy giảm. Huấn luyện yêu cầu B = E/R vị trí tìm nạp trước; suy luận có thể sử dụng B = 3–4 mà không tốn chi phí độ chính xác.