Amazon SageMaker HyperPod에서 Curvine을 활용한 대형 LLM용 계층형 KV 캐시

대규모 언어 모델(LLM) 추론을 확장할 때 일반적으로 KV 캐시 트레이드오프에 직면하게 됩니다. 즉, 증가하는 KV 캐시를 수용하기 위해 과도하게 큰 GPU 인스턴스에 비용을 지불하거나, 동일한 프롬프트가 매 요청마다 다시 계산되면서 지연 시간이 긴 첫 토큰 생성 시간(TTFT)을 감수해야 합니다. Qwen, Llama, DeepSeek 등과 같은 공개 기반 모델(FM)의 광범위한 카탈로그를 비즈니스 라인별 엔드포인트, 검색 증강 생성(RAG) 파이프라인 또는 다중 턴 대화 애플리케이션에 배포하는 팀에게 이 트레이드오프는 인프라 비용 증가와 사용자 경험 저하로 직결됩니다. 근본 원인은 생성 중에 vLLM이 모든 토큰의 어텐션 키와 값을 KV 캐시에 저장하고, 프리픽스 캐싱이 공통 선행 토큰이 있는 요청 간에 해당 캐시를 재사용하기 때문입니다. ml.g6e.4xlarge(GPU당 48GB)와 같은 비용 효율적인 인스턴스에서는 프리픽스 캐싱에 사용할 수 있는 메모리가 제한되어 긴 프롬프트에서 캐시 적중률이 떨어지고, 동일한 시스템 프롬프트가 매 요청마다 다시 프리필되며, 수평 확장된 vLLM 복제본 각각은 격리된 캐시를 유지합니다. 해결책은 L0(GPU 프리픽스 캐시), L1(CPU 메모리 오프로드), L2(Curvine을 통한 공유 분산 NVMe 풀)의 3계층 캐시 계층 구조를 구축하는 것입니다. L0는 vLLM의 네이티브 페이즈드 어텐션 계층이고, L1은 LMCache를 사용하여 축출된 GPU 블록을 호스트 DRAM으로 오프로드하며, L2는 Curvine을 통해 로컬 NVMe 드라이브를 공유 네임스페이스로 풀링하고 모든 추론 Pod에 ReadWriteMany PVC로 마운트합니다. HyperPod의 Intelligent Routing은 프리픽스 인식, KV 인식, 라운드 로빈과 같은 전략을 사용하여 관련 KV 블록이 있을 가능성이 가장 높은 복제본으로 요청을 라우팅합니다. 최종 효과는 전체 캐시 미스가 발생한 경우에만 시스템이 처음부터 다시 프리필하며, 프롬프트 중복도가 중간에서 높은 워크로드의 TTFT를 크게 줄여줍니다. 테스트 배포에서 이는 최대 100%의 교차 Pod 캐시 적중률, 최대 2.7배의 TTFT 개선, 약 1,900토큰 프롬프트에 대한 교차 노드 L2 읽기 대기 시간 약 56ms를 달성했습니다. 이 아키텍처를 통해 이전에 P5 인스턴스가 필요했던 워크로드를 저비용 G6e 인스턴스에서 실행할 수 있어 엔드포인트당 비용이 절감됩니다. 구현에는 계층형 스토리지가 활성화된 SageMaker HyperPod, EKS 클러스터, Inference Operator 및 Curvine 설치가 필요합니다. 이 게시물은 계층형 스토리지 활성화, Inference Operator 및 종속성 설치, Curvine 설치, 파일시스템 기반 L2를 위한 Inference Operator 패치, 벤치마킹의 다섯 단계를 안내합니다.