LLM-Architektur-Innovationen: KV-Sharing, Embeddings pro Schicht und komprimierte Aufmerksamkeit

Sebastian Raschka untersucht aktuelle Änderungen an der Architektur freizügiger Open-Weight-LLMs, die darauf abzielen, die Kosten für lange Kontexte zu senken. In Gemma 4 E2B/E4B verwenden spätere Schichten Schlüssel-Wert-Zustände aus früheren Schichten (schichtübergreifende Aufmerksamkeit), was etwa die Hälfte der KV-Cache-Größe einspart (z. B. 2,7 GB bei 128K Kontext). Darüber hinaus nutzen diese Modelle schichtspezifische Einbettungen („per-layer embeddings“ – PLE), um die Kapazität zu erhöhen, ohne den Haupt-Transformer-Stack zu vergrößern – die „effektive“ Parameteranzahl ist kleiner als die Gesamtanzahl inklusive Einbettungen. Laguna XS.2 von Poolside variiert die Aufmerksamkeitskosten pro Schicht, mit 30 Schichten mit gleitendem Fenster (Fenstergröße 512) und 10 Schichten mit voller Aufmerksamkeit. ZAYA1-8B führt komprimierte konvolutionale Aufmerksamkeit ein, und DeepSeek V4 verwendet mHC und komprimierte Aufmerksamkeit. Diese Anpassungen sind motiviert durch den wachsenden Bedarf an effizienter Verarbeitung langer Kontexte in Reasoning-Modellen und Agenten-Workflows.