من GPT-2 إلى Kimi K3: سبع سنوات من التوسع بمقدار 22,600 مرة، الخط الرئيسي لهندسة النماذج الكبيرة يبني 'نظام تشغيل للذاكرة'
OpenAI
Moonshot AI
يتتبع المقال تطور نماذج اللغة الكبيرة من GPT-2 إلى Kimi K3، مسلطًا الضوء على زيادة بمقدار 22,600 ضعف في النطاق على مدى سبع سنوات. ويجادل بأن الاتجاه المعماري يتجه نحو إنشاء 'نظام تشغيل للذاكرة' للذكاء الاصطناعي.
这篇文章讨论了从OpenAI的GPT-2到月之暗面的Kimi K3的大型语言模型的发展，指出七年间模型规模增加了22600倍。它表明主要的架构方向是构建一个‘内存操作系统’，能够高效地管理上下文和知识。这篇文章可能详细阐述了这种以内存为中心的方法如何实现更长的上下文和更复杂的推理。
المصدر: Moonshot Kimi (GNews) —
الأصلي