生产环境中的大语言模型推理性能退化：KV缓存、内存溢出与p99尾延迟

VK Cloud技术布道师Stas Pogorzhelsky解释说，生产环境中的LLM推理通常会逐渐退化，而不是立即失败。他指出了四个关键机制：KV缓存碎片化导致60-80%的内存损失、长上下文时的OOM、批处理中的队头阻塞，以及p50/p99指标分歧。文章提供了复现脚本和指标，以便在事故发生前捕捉问题。文章强调，在生产环境中，KV缓存往往超过模型权重。PagedAttention将碎片化降低到4%以下，并将吞吐量提升2-4倍，但外部碎片化和驱逐仍会随时间导致问题。连续批处理可能在长预填充请求延迟较短请求时导致队头阻塞；分块预填充可缓解此问题。FP8量化的KV缓存相比FP16几乎使有效内存容量翻倍。建议监控缓存使用率和峰值KV的趋势，而不是等待OOM发生。