Triển khai Kimi K3 trên AWS

Vào ngày 27 tháng 7 năm 2026, Moonshot AI đã phát hành Kimi K3, một mô hình Mixture of Experts (MoE) với 2,8 nghìn tỷ tham số và trọng số mở. Mô hình sử dụng các cải tiến kiến trúc như Kimi Delta Attention và Gated Multi Head Latent Attention, kích hoạt 16 trong số 896 chuyên gia cho mỗi token (104B tham số hoạt động). Mô hình hỗ trợ cửa sổ ngữ cảnh 1 triệu token, đầu vào đa phương thức gốc (văn bản + hình ảnh), gọi công cụ và đầu ra có cấu trúc. AWS cung cấp hai tùy chọn triển khai: Amazon SageMaker HyperPod với Inference Operator, giúp trừu tượng hóa việc điều phối, và cụm Amazon EKS tự quản lý sử dụng EC2 Capacity Blocks. Cả hai đều yêu cầu các instance p6-b300.48xlarge (8 GPU NVIDIA B300 Blackwell Ultra). Trọng số có sẵn ở định dạng MXFP4 trên Hugging Face, và vLLM là engine phục vụ được khuyến nghị. Endpoint hiển thị API tương thích với OpenAI.