एलएलएम आर्किटेक्चर में नवाचार: केवी शेयरिंग, प्रति-लेयर एम्बेडिंग और संपीड़ित अटेंशन

सेबेस्टियन रास्का ने लंबे संदर्भ की लागत कम करने के उद्देश्य से हाल के ओपन-वेट एलएलएम आर्किटेक्चर में बदलावों का सर्वेक्षण किया है। जेम्मा 4 E2B/E4B में, बाद की परतें पिछली परतों से की-वैल्यू स्टेट्स का पुन: उपयोग करती हैं (क्रॉस-लेयर अटेंशन), जिससे KV कैश का आकार लगभग आधा हो जाता है (उदाहरण के लिए, 128K संदर्भ पर 2.7 GB)। इसके अतिरिक्त, ये मॉडल प्रति-लेयर एम्बेडिंग (PLE) का उपयोग करके मुख्य ट्रांसफॉर्मर स्टैक का विस्तार किए बिना क्षमता बढ़ाते हैं—एम्बेडिंग सहित कुल पैरामीटर गणना की तुलना में 'प्रभावी' पैरामीटर गणना छोटी होती है। पूलसाइड द्वारा लगुना XS.2 में अटेंशन की लागत परत के अनुसार अलग-अलग होती है, जिसमें 30 स्लाइडिंग-विंडो (विंडो 512) और 10 पूर्ण-अटेंशन परतें हैं। ZAYA1-8B संपीड़ित कन्वोल्यूशनल अटेंशन प्रस्तुत करता है, और डीपसीक V4 mHC और संपीड़ित अटेंशन का उपयोग करता है। ये परिवर्तन रीजनिंग मॉडल और एजेंट वर्कफ़्लो में कुशल लंबे-संदर्भ प्रसंस्करण की बढ़ती आवश्यकता से प्रेरित हैं।