Kimi K3'ü AWS'de Dağıtmak

27 Temmuz 2026'da Moonshot AI, açık ağırlıklara sahip 2,8 trilyon parametreli Uzmanlar Karışımı (MoE) modeli olan Kimi K3'ü piyasaya sürdü. Kimi Delta Dikkat ve Geçitli Çok Başlıklı Gizli Dikkat gibi mimari yenilikler kullanan model, belirteç başına 896 uzmandan 16'sını etkinleştiriyor (104 milyar aktif parametre). Model, 1 milyon belirteçlik bağlam penceresini, yerel çok modlu girdiyi (metin+görüntü), araç çağrısını ve yapılandırılmış çıktıyı destekliyor. AWS iki dağıtım seçeneği sunuyor: düzenlemeyi soyutlayan Amazon SageMaker HyperPod ve Inference Operator ile bunu yönetebileceğiniz gibi, EC2 Kapasite Bloklarını kullanan kendi kendine yönetilen bir Amazon EKS kümesi de kullanabilirsiniz. Her iki seçenek de p6-b300.48xlarge örnekleri (8 adet NVIDIA B300 Blackwell Ultra GPU) gerektirir. Ağırlıklar Hugging Face'te MXFP4 formatında mevcut olup, önerilen sunum motoru vLLM'dir. Uç nokta, OpenAI uyumlu bir API sunar.