在Amazon SageMaker HyperPod和Amazon EKS上部署Kimi K3

Moonshot AI发布了开源模型Kimi K3，拥有2.8万亿参数，是首个达到3万亿参数级别的开源系统。其架构包括Kimi Delta Attention、Gated Multi Head Latent Attention和Stable LatentMoE，每个token激活896个专家中的16个，产生1040亿个活跃参数。该模型支持100万token的上下文，并且是多模态的（文本和图像）。权重以MXFP4格式在Hugging Face上提供，推理推荐使用vLLM。部署需要配备8个NVIDIA B300 Blackwell Ultra GPU的p6-b300实例。AWS提供两种方式：带有Inference Operator的SageMaker HyperPod，以及使用Capacity Blocks的自主Amazon EKS。这两种方式都提供了兼容OpenAI的API以供调用。文章详细介绍了每种方式的步骤，包括创建集群、预留容量、安装驱动和部署vLLM，以及资源清理建议。