28 nghìn tỷ token không phải giới hạn: Mô hình AI Trung Quốc Kimi K4 hướng tới mục tiêu cao hơn, GPU là nút thắt cổ chai

Moonshot AI, công ty phát triển dòng mô hình ngôn ngữ lớn Kimi, vừa công bố mô hình thế hệ mới của mình, Kimi K4. Người sáng lập kiêm Giám đốc điều hành của công ty cho biết quy mô của Kimi K4 sẽ vượt qua Kimi K3, mô hình đã được huấn luyện trên 28,8 nghìn tỷ token. Ông nhấn mạnh rằng hạn chế chính về kích thước của mô hình không phải là tham vọng công nghệ mà là sự sẵn có của các bộ xử lý đồ họa (GPU), chỉ ra các ràng buộc về phần cứng là nút thắt cổ chai chính.