2,8 nghìn tỷ tham số chưa phải là kết thúc: Mô hình nội địa Kimi K4 hướng tới quy mô cực đại, GPU trở thành nút thắt

Moonshot AI, startup Trung Quốc đứng sau dòng Kimi K, đã công bố phát hành mô hình mới nhất của mình, Kimi K4, tuyên bố có 2,8 nghìn tỷ tham số. Điều này khiến nó trở thành một trong những mô hình dày đặc lớn nhất từng được báo cáo. Công ty cho biết đây không phải là giới hạn; họ có kế hoạch tiếp tục mở rộng quy mô mô hình. Tuy nhiên, họ cho rằng sự sẵn có của GPU hiệu năng cao là yếu tố hạn chế chính cho việc mở rộng thêm. Mô hình hiện tại được huấn luyện bằng cách sử dụng hàng nghìn GPU NVIDIA H800, và việc có được phần cứng tiên tiến hơn là một thách thức do các hạn chế xuất khẩu và hạn chế nguồn cung trong nước.