إصدار كيمي K3 لتقرير فني من 47 صفحة: الابتكارات الأكثر قيمة

نشرت شركة Moonshot AI تقريرًا فنيًا من 47 صفحة عن نموذج اللغة الكبير Kimi K3. يسلط التقرير الضوء على عدة ابتكارات رئيسية: بنية خليط الخبراء (Mixture-of-Experts)، والانتباه الكامن متعدد الرؤوس (Multi-Head Latent Attention)، وتحسين استقرار وكفاءة التدريب. تضع هذه التطورات Kimi K3 كنموذج تنافسي في مشهد نماذج اللغة الكبيرة.