在AWS上部署Kimi K3

2026年7月27日，Moonshot AI 发布了 Kimi K3，这是一个拥有 2.8 万亿参数的混合专家 (Mixture of Experts, MoE) 模型，权重开放。它采用了诸如 Kimi Delta Attention 和门控多头潜在注意力 (Gated Multi Head Latent Attention) 等架构创新，每个词元激活 896 个专家中的 16 个（104B 活跃参数）。该模型支持 100 万个词元的上下文窗口、原生多模态输入（文本+视觉）、工具调用以及结构化输出。AWS 提供两种部署选项：一个是使用 Amazon SageMaker HyperPod 与推理算子 (Inference Operator)，可抽象化编排；另一个是使用 EC2 Capacity Blocks 的自管理 Amazon EKS 集群。两者都需要 p6-b300.48xlarge 实例（8 块 NVIDIA B300 Blackwell Ultra GPU）。权重以 MXFP4 格式在 Hugging Face 上提供，vLLM 是推荐的推理引擎。终端点暴露了一个兼容 OpenAI 的 API。