Implantação do Kimi K3 no Amazon SageMaker HyperPod e Amazon EKS

A Moonshot AI lançou o modelo Kimi K3 com pesos abertos, que conta com 2,8 trilhões de parâmetros e é o primeiro sistema aberto a alcançar a classe de 3 trilhões de parâmetros. A arquitetura inclui Kimi Delta Attention, Gated Multi Head Latent Attention e Stable LatentMoE, ativando 16 dos 896 especialistas por token, o que resulta em 104 bilhões de parâmetros ativos. O modelo suporta um contexto de 1 milhão de tokens e é multimodal (texto e imagens). Os pesos estão disponíveis no Hugging Face no formato MXFP4, e para inferência, recomenda-se o vLLM. Para implantação, são necessárias instâncias p6-b300 com 8 GPUs NVIDIA B300 Blackwell Ultra. A AWS oferece duas maneiras: SageMaker HyperPod com Inference Operator e Amazon EKS autônomo usando Capacity Blocks. Ambas as opções fornecem uma API compatível com OpenAI para chamadas. O artigo contém etapas detalhadas para cada opção, incluindo criação de cluster, reserva de capacidade, instalação de drivers e implantação do vLLM, além de recomendações para limpeza de recursos.