LLM의 KV 캐시: 개념 이해와 처음부터 직접 구현하기

KV 캐시는 이전 어텐션 계산에서 얻은 키(K)와 값(V) 벡터를 저장하여 이후 토큰 생성 시 재사용함으로써 재계산을 피하고 추론 속도를 높입니다. KV 캐시가 없으면 각 생성 단계에서 이전 모든 토큰에 대한 키와 값을 다시 계산해야 하지만, 캐시가 있으면 새 토큰의 벡터만 계산하여 캐시에 추가하면 됩니다. 이 글은 저자의 책에 나온 GPT 유사 모델을 기반으로 한 코드 구현을 제공합니다. 주요 변경 사항은 다음과 같습니다: MultiHeadAttention 클래스에 캐시 버퍼(cache_k 및 cache_v) 추가, forward 메서드가 조건부로 캐시를 사용하도록 수정, reset 메서드 추가, 그리고 모델 전체에 use_cache 플래그를 전파하는 것입니다. 생성 과정에서 use_cache가 True이면 모델은 초기 프롬프트 이후에는 새 토큰만 처리하지만, 캐시가 없으면 각 단계에서 전체 시퀀스를 처리합니다. 간단한 성능 비교를 통해 KV 캐시가 테스트된 예제에서 생성 속도를 대략 두 배로 향상시키는 것으로 나타났습니다.