Развертывание Kimi K3 на Amazon SageMaker HyperPod и Amazon EKS
Moonshot AI выпустила Kimi K3 — открытую модель с 2,8 трлн параметров, первую в классе 3 трлн. AWS предлагает два способа развертывания: SageMaker HyperPod и Amazon EKS. Модель требует специализированных GPU-инстансов p6-b300 и использует vLLM для инференса.
Moonshot AI выпустила модель Kimi K3 с открытыми весами, которая насчитывает 2,8 триллиона параметров и является первой открытой системой, достигающей класса 3 триллионов параметров. Архитектура включает Kimi Delta Attention, Gated Multi Head Latent Attention и Stable LatentMoE, активируя 16 из 896 экспертов на токен, что дает 104 миллиарда активных параметров. Модель поддерживает контекст в 1
Показать ещё ↓
Источник: AWS ML blog —
оригинал