نشر Kimi K3 على Amazon SageMaker HyperPod وAmazon EKS

أصدرت Moonshot AI نموذج Kimi K3 بأوزان مفتوحة، والذي يضم 2.8 تريليون معامل، ويُعد أول نظام مفتوح يصل إلى فئة 3 تريليونات معامل. تتضمن البنية Kimi Delta Attention وGated Multi Head Latent Attention وStable LatentMoE، حيث يتم تفعيل 16 من أصل 896 خبيرًا لكل رمز، مما ينتج 104 مليارات معامل نشط. يدعم النموذج سياقًا يصل إلى مليون رمز، وهو متعدد الوسائط (نصوص وصور). الأوزان متاحة على Hugging Face بصيغة MXFP4، ويُنصح باستخدام vLLM للاستدلال. للنشر، تتطلب الأمر حالات p6-b300 مع 8 وحدات معالجة رسومية NVIDIA B300 Blackwell Ultra. تقدم AWS طريقتين: SageMaker HyperPod مع مشغل الاستدلال، وAmazon EKS المستقل باستخدام كتل السعة. توفر كلتا الطريقتين واجهة برمجة تطبيقات متوافقة مع OpenAI للاستدعاءات. تتضمن المقالة خطوات مفصلة لكل خيار، بما في ذلك إنشاء الكتلة، وحجز السعة، وتثبيت برامج التشغيل، ونشر vLLM، بالإضافة إلى توصيات لتنظيف الموارد.