Suy giảm hiệu năng suy luận LLM trong sản xuất: KV-cache, hết bộ nhớ và độ trễ phân vị thứ 99

VK Cloud kỹ sư truyền bá công nghệ Stas Pogorzhelsky giải thích rằng việc suy luận LLM trong sản xuất thường suy giảm dần dần thay vì thất bại ngay lập tức. Anh xác định bốn cơ chế chính: phân mảnh bộ nhớ đệm KV gây mất 60-80% bộ nhớ, hết bộ nhớ (OOM) trên các ngữ cảnh dài, tắc nghẽn đầu hàng trong các lô, và sự phân kỳ chỉ số p50/p99. Bài viết cung cấp các tập lệnh tái tạo và các chỉ số để phát hiện sự cố trước khi chúng xảy ra. Nó nhấn mạnh rằng bộ nhớ đệm KV thường vượt quá trọng số mô hình trong sản xuất. PagedAttention giảm phân mảnh xuống dưới 4% và tăng thông lượng 2-4 lần, nhưng phân mảnh bên ngoài và trục xuất vẫn gây ra sự cố theo thời gian. Việc xử lý theo lô liên tục có thể gây tắc nghẽn đầu hàng khi một yêu cầu prefill dài làm trì hoãn các yêu cầu ngắn hơn; chunked prefill giảm thiểu điều này. Lượng tử hóa FP8 của bộ nhớ đệm KV gần như tăng gấp đôi dung lượng bộ nhớ hiệu quả so với FP16. Khuyến nghị theo dõi xu hướng sử dụng bộ nhớ đệm và đỉnh KV thay vì chờ OOM.