Moonshot AI phát hành trọng số của Kimi-K3 nổi tiếng — gần ngang bằng với các mô hình hàng đầu nhưng đơn giản hơn nhiều để chạy

Moonshot AI đã phát hành miễn phí trọng số của mô hình Kimi-K3, cho phép bất kỳ ai có đủ tài nguyên tính toán đều có thể chạy cục bộ. Mô hình này vượt trội hơn đáng kể so với các thế hệ trước của OpenAI GPT và Anthropic Claude, và chỉ thua kém một chút so với các mô hình Sol và Fable mới nhất. Chi phí vận hành Kimi-K3 thấp hơn 2-3 lần so với các đối thủ Mỹ, và khi có cache hit trong các tác vụ lập trình, chi phí giảm xuống còn 0,30 đô la Mỹ cho mỗi triệu token, so với mức giá tiêu chuẩn 3 đô la cho đầu vào. Hiệu quả này có được nhờ sử dụng MXFP4 để lưu trữ trọng số và MXFP8 cho kích hoạt, cả hai đều là định dạng độ chính xác thấp giúp tiết kiệm bộ nhớ. Trong tổng số 2,8 nghìn tỷ tham số, chỉ có 104,2 tỷ tham số hoạt động đồng thời. Mô hình được thiết kế để chạy trên các bộ tăng tốc Nvidia H20, vốn không hỗ trợ tính toán dấu phẩy động MX gốc, nhưng có thể chạy hiệu quả hơn trên chip Blackwell. Kimi-K3 thay thế bộ nhớ đệm key-value bằng một bộ xử lý trạng thái kích thước cố định gọi là Kimi Delta Attention, và sử dụng MoE với chỉ 16 trong số 896 chuyên gia được kích hoạt. Tuy nhiên, chỉ có trọng số là được mở; quy trình huấn luyện và tập dữ liệu vẫn là độc quyền.