Kimi K3'ün Amazon SageMaker HyperPod ve Amazon EKS Üzerinde Dağıtımı

Moonshot AI, 2,8 trilyon parametreye sahip ve 3 trilyon parametre sınıfına ulaşan ilk açık sistem olan Kimi K3 modelini açık ağırlıklarla yayınladı. Mimari; Kimi Delta Attention, Gated Multi Head Latent Attention ve Stable LatentMoE'yi içeriyor ve token başına 896 uzmandan 16'sını etkinleştirerek 104 milyar aktif parametre sağlıyor. Model, 1 milyon token bağlamını destekliyor ve çok modlu (metin ve görüntüler). Ağırlıklar Hugging Face'de MXFP4 formatında mevcut, çıkarım için vLLM öneriliyor. Dağıtım için 8 NVIDIA B300 Blackwell Ultra GPU'lu p6-b300 örnekleri gerekiyor. AWS iki yol sunuyor: SageMaker HyperPod ile Inference Operator ve Capacity Blocks kullanan bağımsız Amazon EKS. Her iki yol da çağrılar için OpenAI uyumlu API sağlıyor. Makale, her seçenek için küme oluşturma, kapasite rezervasyonu, sürücü kurulumu ve vLLM dağıtımı dahil ayrıntılı adımların yanı sıra kaynak temizleme önerilerini içeriyor.