硬件与推理 RSS

模型 🇺🇸

在 AWS 上部署 Kimi K3

月之暗面发布了 Kimi K3,一个 2.8 万亿参数的混合专家(MoE)模型,开放权重。AWS 博客文章描述了如何在 SageMaker HyperPod 或 Amazon EKS 上使用 p6-b300 实例(搭载 NVIDIA B300 Blackwell Ultra GPU)、vLLM 推理服务以及 MXFP4 量化来部署该模型。

Moonshot AIMoonshot AI NVIDIANVIDIA
AWS ML blog30.07 · 21:02
最新新闻