KVキャッシュサバイバルガイド：ローカルLLMでGPUメモリが不足する理由

この記事では、ローカルで大規模言語モデル（LLM）を実行するとGPUのメモリが不足する可能性があり、その主要因の一つがキーバリュー（KV）キャッシュであることを説明しています。KVキャッシュは、中間のアテンション値を保存するもので、シーケンス長とバッチサイズに比例して増加し、その結果、かなりのメモリを消費します。このガイドでは、量子化、フラッシュアテンションの使用、より小さいモデルの選択、またはCPUオフロードなどの戦略を提供しています。メモリ節約と速度や品質の間のトレードオフを強調しています。