Kimi K2 phát hành mã nguồn mở mô hình lớn nhất thế giới về tham số

Moonshot AI đã công bố mã nguồn mở hoàn toàn cho mô hình Kimi K2 của mình, đây là mô hình mã nguồn mở có số lượng tham số lớn nhất thế giới. Mô hình đã có sẵn trên nhiều nền tảng đám mây, bao gồm Tencent Cloud, ModelScope, Replicate và CrossCompute. Kimi K2 có 1 nghìn tỷ tham số và sử dụng kiến trúc MoBA (Mixture of Block Attention) sáng tạo, giúp tối ưu hóa việc xử lý các ngữ cảnh dài. Mô hình được huấn luyện trên 15,5 nghìn tỷ token, đảm bảo hiệu suất cao trong các lĩnh vực lập trình, toán học và các bài toán khoa học. Kimi K2 vượt trội hơn các mô hình như GPT-4o và Claude 3.5 Sonnet trong nhiều bài kiểm tra khác nhau, đồng thời chi phí suy luận thấp hơn 7 lần so với GPT-4o. Mô hình được cấp phép mã nguồn mở để sử dụng thương mại, cho phép các nhà phát triển và doanh nghiệp khai thác nó cho các mục đích thương mại.