Neueste Innovationen in LLM-Architekturen: gemeinsame KV-Caches, schichtweise Embeddings und komprimierte Aufmerksamkeit

Der Artikel untersucht die jüngsten architektonischen Änderungen an offenen LLMs, die darauf abzielen, die Kosten bei der Verarbeitung langer Kontexte zu senken. Googles Modelle Gemma 4 (E2B, E4B) verwenden einen gemeinsam genutzten KV-Cache: spätere Schichten nutzen die Schlüssel und Werte früherer Schichten desselben Aufmerksamkeitstyps wieder, wodurch sich die Größe des KV-Caches halbiert (z. B. spart E2B bei einem Kontext von 128K und bfloat16 2,7 GB ein). Darüber hinaus kommen in den Varianten E2B und E4B schichtweise Einbettungen (per-layer embeddings, PLE) zum Einsatz: Jeder Transformer-Block erhält einen kleinen, token-spezifischen Vektor aus einer gemeinsamen „gepackten“ Tabelle, was die Modellkapazität erhöht, ohne dass die Anzahl der Parameter in den Hauptblöcken proportional steigt. Das Modell Laguna XS.2 von Poolside realisiert ein schichtweises Aufmerksamkeitsbudget: Von 40 Schichten haben nur 10 volle (globale) Aufmerksamkeit, die restlichen 30 verwenden ein gleitendes Fenster (512 Tokens), was Ressourcen spart. Schließlich nutzt DeepSeek V4 die Mechanismen mHC (multi-head compression) und komprimierte Aufmerksamkeit zur weiteren Optimierung. All diese Techniken, auch wenn sie wie kleine Verbesserungen wirken, reduzieren die Speicher- und Rechenlast bei der Verarbeitung langer Sequenzen erheblich.