Hardware e Inferência RSS

Modelos 🇺🇸

Implantando Kimi K3 na AWS

A Moonshot AI lançou o Kimi K3, um modelo MoE de 2,8 trilhões de parâmetros, com pesos abertos. O post no blog da AWS descreve a implantação no SageMaker HyperPod ou Amazon EKS usando instâncias p6-b300 com GPUs NVIDIA B300 Blackwell Ultra, serviço vLLM e quantização MXFP4.

Moonshot AIMoonshot AI NVIDIANVIDIA
AWS ML blog30.07 · 21:02
Notícias frescas