Kimi K3 mã nguồn mở: Anthropic cuối cùng đã lộ bài

Moonshot AI đã mã nguồn mở mô hình Kimi K3, có hiệu suất chuẩn điểm tương đương với Claude Sonnet 4 của Anthropic. Bản phát hành mã nguồn mở bao gồm trọng số mô hình và báo cáo kỹ thuật. Báo cáo cho thấy Anthropic đã áp dụng một phiên bản mở rộng của tỷ lệ tối ưu Chinchilla, hỗ trợ kích thước batch lớn hơn và tốc độ học cao hơn để huấn luyện hiệu quả hơn. Kimi K3 dựa trên kiến trúc MoE (Mixture of Experts - Hỗn hợp chuyên gia), với tổng cộng 48 chuyên gia và 2 chuyên gia hoạt động cho mỗi token, kích hoạt 37 tỷ tham số trong tổng số 264 tỷ tham số. Mô hình được thiết kế để mở rộng quy mô và tối ưu hiệu quả, với độ dài ngữ cảnh 128K và huấn luyện chính xác hỗn hợp FP8. Việc mã nguồn mở Kimi K3 được xem là một bước đi nhằm dân chủ hóa quyền truy cập vào trí tuệ nhân tạo tiên tiến và thách thức các công ty lớn như Anthropic và OpenAI.