نشر Kimi K3 على AWS

Moonshot AIMoonshot AI NVIDIANVIDIA
أصدرت Moonshot AI نموذج Kimi K3، وهو نموذج MoE ذو 2.8 تريليون معلمة، بأوزان مفتوحة. تشرح تدوينة AWS كيفية نشره على SageMaker HyperPod أو Amazon EKS باستخدام مثيلات p6-b300 المزودة بوحدات معالجة رسوميات NVIDIA B300 Blackwell Ultra، مع خدمة vLLM وضغط MXFP4.
في 27 يوليو 2026، أصدرت شركة Moonshot AI نموذج Kimi K3، وهو نموذج خليط من الخبراء (Mixture of Experts - MoE) مكون من 2.8 تريليون معلمة بأوزان مفتوحة. يستخدم النموذج ابتكارات معمارية مثل انتباه دلتا كيمي (Kimi Delta Attention) وانتباه كامن متعدد الرؤوس مُبوَّب (Gated Multi Head Latent Attention)، حيث يتم تفعيل 16 خبيرًا من أصل 896 خبيرًا لكل رمز (ما يعادل 104 مليار معلمة نشطة). يدعم النموذج نافذة سياقية بطول مليون رمز، وإدخال وسائط متعددة أصلي (نص + رؤية)، واستدعاء أدوات، وإخراج منظم. تقدم AWS خيارين للنشر: Amazon SageMaker HyperPod مع مشغل الاستدلال (Inference Operator) الذي يُجرِّد عملية التنسيق، وكتلة Amazon EKS المُدارة ذاتيًا باستخدام حجوزات سعة EC2 (EC2 Capacity Blocks). يتطلب كلا الخيارين مثيلات p6-b300.48xlarge (8 وحدات معالجة رسومية NVIDIA B300 Blackwell Ultra). الأوزان متاحة بصيغة MXFP4 على Hugging Face، ومُحرِّك vLLM هو المحرك المُوصى به للخدمة. يعرض المُنفذ (endpoint) واجهة برمجة تطبيقات متوافقة مع OpenAI.
المصدر: AWS ML blog — الأصلي
منشوراتنا السابقة حول هذا الموضوع ↓
أخبار جديدة