KV 缓存生存指南：为什么本地大语言模型会让 GPU 内存耗尽

文章解释说，运行本地大型语言模型（LLM）可能导致GPU内存不足，其中键值（KV）缓存是主要因素之一。文章描述了KV缓存如何存储注意力机制的中间值，随着序列长度和批次大小线性增长，从而消耗大量内存。指南提供了诸如量化、使用闪存注意力以及选择较小模型或使用CPU卸载等策略。它强调了在内存节省与速度或质量之间的权衡。