Kimi K3: Moonshot AI mở trọng số mô hình 2,8 nghìn tỷ tham số

Ngày 27 tháng 7, Moonshot AI đã phát hành trọng số của Kimi K3, một mô hình MoE với 2,8 nghìn tỷ tham số, 896 chuyên gia (16 chuyên gia hoạt động trên mỗi token, ~50 tỷ tham số hoạt động) và ngữ cảnh 1 triệu token. Mô hình đạt 57 điểm trên chỉ số Artificial Analysis, đứng thứ tư tổng thể và đầu tiên trong số các mô hình mã nguồn mở, vượt qua GLM-5.2 (51 điểm) và DeepSeek V4 Pro (44 điểm). Nó cũng đứng đầu LMArena Frontend Code Arena, đánh bại Claude Fable 5 trong 76% các so sánh mù. Kiến trúc sử dụng Kimi Delta Attention và Attention Residuals, được cho là mang lại hiệu quả mở rộng gấp 2,5 lần so với K2 theo báo cáo nội bộ của công ty. Trọng số chiếm khoảng 1,4 TB ngay cả khi lượng tử hóa MXFP4, yêu cầu cấu hình máy chủ nhiều GPU. Moonshot cũng mở mã nguồn FlashKDA (kernel CUDA cho attention), MoonEP (thư viện song song hóa chuyên gia) và AgentENV (môi trường sandbox để huấn luyện tác nhân). Giấy phép là tùy chỉnh, yêu cầu hiển thị thương hiệu đối với các sản phẩm có hơn 100 triệu người dùng hoạt động hàng tháng hoặc doanh thu hàng tháng trên 20 triệu đô la Mỹ, và thỏa thuận riêng cho các nhà cung cấp MaaS (Model as a Service). Hỗ trợ được công bố bởi Together AI, Fireworks, DigitalOcean, Nebius, Baseten, Modal và vLLM. Giá API là 3 đô la Mỹ cho mỗi triệu token đầu vào, 15 đô la Mỹ cho mỗi triệu token đầu ra và 0,30 đô la Mỹ cho đầu vào được lưu trong bộ nhớ đệm.