Amazon SageMaker HyperPod और Amazon EKS पर Kimi K3 का परिनियोजन

Moonshot AI ने खुले वज़न वाला मॉडल Kimi K3 जारी किया है, जिसमें 2.8 ट्रिलियन पैरामीटर हैं और यह पहली खुली प्रणाली है जो 3 ट्रिलियन पैरामीटर के वर्ग तक पहुंचती है। वास्तुकला में Kimi Delta Attention, Gated Multi Head Latent Attention और Stable LatentMoE शामिल हैं, जो प्रति टोकन 896 विशेषज्ञों में से 16 को सक्रिय करते हैं, जिससे 104 बिलियन सक्रिय पैरामीटर मिलते हैं। मॉडल 1 मिलियन टोकन का संदर्भ समर्थन करता है और बहु-विधीय (पाठ और चित्र) है। वज़न Hugging Face पर MXFP4 प्रारूप में उपलब्ध हैं, और अनुमान के लिए vLLM की सिफारिश की गई है। परिनियोजन के लिए 8 NVIDIA B300 Blackwell Ultra GPU वाले p6-b300 इंस्टेंस की आवश्यकता होती है। AWS दो तरीके प्रदान करता है: SageMaker HyperPod जिसमें Inference Operator है और स्वायत्त Amazon EKS जिसमें Capacity Blocks का उपयोग किया जाता है। दोनों तरीके कॉल के लिए OpenAI-संगत API प्रदान करते हैं। लेख में प्रत्येक विकल्प के लिए विस्तृत चरण शामिल हैं, जिसमें क्लस्टर बनाना, क्षमता आरक्षित करना, ड्राइवर स्थापित करना और vLLM परिनियोजित करना, साथ ही संसाधनों को साफ करने की सिफारिशें शामिल हैं।