Cách Kimi K3 hoạt động: 2,8 nghìn tỷ tham số, chú ý tuyến tính và tác nhân triệu token
Moonshot AI đã phát hành trọng số của mô hình Kimi K3, một mô hình đa phương thức dựa trên kiến trúc Hỗn hợp chuyên gia (Mixture of Experts) với 2,8 nghìn tỷ tham số, trong đó 104 tỷ được kích hoạt mỗi token. Trong một số điểm chuẩn về lập trình và sử dụng công cụ, mô hình vượt trội hơn đối thủ, nhưng trung bình lại tụt hậu so với một số đối thủ.
Moonshot AI
Anthropic
OpenAI

