Latest innovations in LLM architectures: shared KV caches, per-layer embeddings, and compressed attention

本稿では、長いコンテキストを処理する際のコスト削減を目的とした、オープンLLMにおける最新のアーキテクチャ変更について考察する。GoogleのGemma 4（E2B、E4B）は共有KVキャッシュを採用しており、後方のレイヤーが同じアテンションタイプの前方レイヤーからキーとバリューを再利用することで、KVキャッシュのサイズを半減できる（例えば、E2Bでコンテキスト長128K、bfloat16を使用した場合、2.7GBの節約となる）。また、E2BおよびE4Bのバリアントでは、レイヤー別埋め込み（per-layer embeddings、PLE）を適用している。各トランスフォーマーブロックに、共通の「パック化」テーブルから得られる小さなトークン固有のベクトルが与えられ、主要ブロックのパラメータ数を比例的に増やすことなくモデルの容量が拡大する。PoolsideのLaguna XS.2は、レイヤー別アテンション予算編成を実装しており、40レイヤーのうち10レイヤーのみが完全（グローバル）アテンションを持ち、残りの30レイヤーはスライディングウィンドウ（512トークン）を使用することでリソースを節約する。最後に、DeepSeek V4は、さらなる最適化のためにマルチヘッド圧縮（multi-head compression、mHC）と圧縮アテンションのメカニズムを採用している。これらの手法は小規模な改良に見えるかもしれないが、長いシーケンスを処理する際のメモリ負荷と計算負荷を大幅に低減する。