Hành trình Kimi K3 đạt đỉnh: 2,8 nghìn tỷ tham số huấn luyện

Moonshot AI đã phát triển Kimi K3, một mô hình ngôn ngữ lớn với 2,8 nghìn tỷ tham số, đạt hiệu suất hàng đầu trong các bài kiểm tra chuẩn. Quá trình huấn luyện bao gồm kiến trúc hỗn hợp chuyên gia (MoE) và tính toán song song quy mô lớn trên hàng nghìn GPU. Mô hình cho thấy những cải thiện đáng kể về khả năng suy luận, lập trình và đa ngôn ngữ. Thành tựu này nhấn mạnh năng lực ngày càng tăng của Trung Quốc trong việc phát triển mô hình AI quy mô lớn.