負荷下のハイブリッドTransformer：Gated DeltaNetがフルアテンションに劣るケース

ハイブリッドモデルQwen3.5-4Bは、32層のうち8層のみでフルアテンションを使用し、残りの24層はリカレントGated DeltaNet層で、成長するKVキャッシュの代わりに固定サイズの状態を保持する。単一のRTX 3090上でvLLM 0.26.0を用いた合成エージェント負荷では、ハイブリッドモデルはプレフィックスキャッシュヒット率が84%で、フルアテンションのQwen3-4Bの94%に対して低く、プロンプトトークンの再計算が3倍多かった。根本原因は、リカレント状態ページとアテンションKVページが共通のプールを共有しており、アテンションページサイズを状態ページサイズに合わせる必要があるため、ブロックサイズが16トークンから528トークンに増加したことにある。これによりプレフィックス一致の粒度が低下し、再計算が増加する。ハイブリッドモデルは有効キャッシュ容量が3.2倍大きい（297,720トークン対93,408トークン）が、キャッシュ用メモリが2.6 GiB少なく、アクティベーションが2.3倍大きいというコストがかかる。また、ブロックサイズが大きいため、フルスナップショットが有効な場合、状態スナップショットのトークンあたりのメモリコストも増加する。