موونشوت إيه آي تطلق أوزان كيمي كيه 3 الشهيرة — تقريبًا بمستوى قادة السوق ولكن تشغيلها أبسط بكثير

أطلقت شركة Moonshot AI أوزان نموذجها Kimi-K3 مجانًا، مما يسمح لأي شخص لديه طاقة حاسوبية كافية بتشغيله محليًا. يتفوق النموذج بشكل كبير على الأجيال السابقة من نماذج OpenAI GPT وAnthropic Claude، ويتأخر قليلاً فقط عن أحدث نماذج Sol وFable. تبلغ تكلفة تشغيل Kimi-K3 أقل بمقدار 2-3 مرات مقارنة بنظيراته الأمريكية، ومع الضربات المخبأة في مهام البرمجة، تنخفض التكاليف إلى 0.30 دولار لكل مليون رمز مقابل 3 دولار لسعر الإدخال القياسي. من المرجح أن تأتي الكفاءة من استخدام MXFP4 لتخزين الأوزان وMXFP8 للتنشيطات، وكلاهما تنسيقان منخفضا الدقة يوفران الذاكرة. من بين 2.8 تريليون معلمة، ينشط 104.2 مليار معلمة فقط في وقت واحد. صُمم النموذج ليعمل على معجلات Nvidia H20، التي تفتقر إلى دعم أصلي للفاصلة العائمة من نوع MX، ولكن قد يعمل بكفاءة أكبر على رقاقات Blackwell. يستبدل Kimi-K3 ذاكرة التخزين المؤقت للمفتاح والقيمة بمعالج حالة ثابت الحجم يسمى Kimi Delta Attention، ويستخدم نموذج خبير مختلط مع تفعيل 16 خبيرًا فقط من أصل 896. ومع ذلك، فإن الأوزان فقط هي المفتوحة؛ أما عملية التدريب ومجموعة البيانات فتبقى مملوكة.