كيمي K3 تسع 22,580 نموذجاً من GPT-2: سبع سنوات من تطور نماذج اللغة الكبيرة تتجاوز مجرد نمو المعاملات

يسلّط تحليل حديث، استند إلى نموذج Kimi K3 من شركة Moonshot AI، الضوءَ على التطور الكبير الذي شهدته نماذج اللغة الكبيرة (LLM) على مدى السنوات السبع الماضية، مشيراً إلى أن هذا التقدم يتجاوز مجرد زيادة عدد المعاملات (Parameters). وتوضح الدراسة أن نموذج Kimi K3، بوصفه نموذجاً حديثاً، يمتلك قدرة تعادل 22,580 نموذجاً من طراز GPT-2، وهو ما يجسّد التوسع الهائل في حجم النماذج. ومع ذلك، تؤكد النتائج أن التحسينات في البنية المعمارية (Architecture)، وكفاءة التدريب، وعوامل أخرى، كانت لها أدوار حاسمة أيضاً في تطور نماذج اللغة الكبيرة، وليس فقط الزيادة في عدد المعاملات.