Hướng dẫn sinh tồn với KV Cache: Vì sao GPU của bạn hết bộ nhớ khi chạy LLM cục bộ

Bài viết giải thích rằng việc chạy các mô hình ngôn ngữ lớn (LLM) cục bộ có thể khiến GPU hết bộ nhớ, với bộ nhớ cache khóa-giá trị (key-value, KV) là một yếu tố chính góp phần. Nó mô tả cách bộ nhớ cache KV lưu trữ các giá trị attention trung gian, tăng tuyến tính theo độ dài chuỗi và kích thước lô (batch size), do đó tiêu tốn đáng kể bộ nhớ. Hướng dẫn cung cấp các chiến lược như lượng tử hóa, sử dụng flash attention, chọn mô hình nhỏ hơn hoặc sử dụng kỹ thuật offload CPU. Nó nhấn mạnh sự đánh đổi giữa tiết kiệm bộ nhớ và tốc độ hoặc chất lượng.