GPT-2 से Kimi K3 तक: 22,600 गुना स्केलिंग के सात साल, बड़े मॉडल आर्किटेक्चर की मुख्य लाइन 'मेमोरी ऑपरेटिंग सिस्टम' बना रही है
OpenAI
Moonshot AI
यह लेख GPT-2 से Kimi K3 तक बड़े भाषा मॉडलों के विकास का पता लगाता है, सात वर्षों में 22,600 गुना वृद्धि को उजागर करता है। यह तर्क देता है कि वास्तुशिल्प प्रवृत्ति AI के लिए 'मेमोरी ऑपरेटिंग सिस्टम' स्थापित करने की दिशा में है।
यह लेख OpenAI के GPT-2 से लेकर Moonshot AI के Kimi K3 तक बड़े भाषा मॉडलों के विकास पर चर्चा करता है, और बताता है कि सात वर्षों में मॉडल का आकार 22,600 गुना बढ़ गया है। यह सुझाव देता है कि मुख्य वास्तुशिल्प दिशा एक 'मेमोरी ऑपरेटिंग सिस्टम' का निर्माण करना है जो संदर्भ और ज्ञान का कुशलतापूर्वक प्रबंधन करता है। यह लेख संभवतः विस्तार से बताता है कि यह मेमोरी-केंद्रित दृष्टिकोण लंबे संदर्भ और अधिक जटिल तर्क को कैसे सक्षम बनाता है।
स्रोत: Moonshot Kimi (GNews) —
मूल