KV 캐시 생존 가이드: 로컬 LLM에서 GPU 메모리가 부족한 이유

이 기사는 로컬 대규모 언어 모델(LLM)을 실행할 때 GPU 메모리가 부족해질 수 있으며, 주요 원인 중 하나가 키-값(KV) 캐시라고 설명합니다. KV 캐시는 중간 attention 값을 저장하며, 시퀀스 길이와 배치 크기에 따라 선형적으로 증가하여 상당한 메모리를 소비한다고 설명합니다. 이 가이드는 양자화, 플래시 어텐션 사용, 더 작은 모델 선택, 또는 CPU 오프로딩과 같은 전략을 제공합니다. 메모리 절약과 속도 또는 품질 간의 트레이드오프를 강조합니다.