LLM 추론: KV-캐시에서 프로덕션 배포까지

MLOps 엔지니어 Alexander Ryzhov가 hh.ru에 기고한 글에서는 자체 서버에 대규모 언어 모델(LLM)을 배포할 때의 과제와 해결 방안에 대해 논의합니다. 핵심 통찰은 추론 효율성이 GPU 메모리 관리에 의해 결정된다는 점입니다. KV-캐시는 디코드 단계를 연산 중심에서 메모리 대역폭 중심으로 전환합니다. 저자는 어텐션 메커니즘의 진화 과정, 즉 MHA(2017), GQA(2023), DeepSeek의 MLA(2024), DeepSeek v3.2의 DSA(2025)를 설명하며, 각각 KV-캐시 크기를 줄입니다. 추론 엔진 중 vLLM(오픈소스)은 PagedAttention을 사용하여 메모리 단편화를 줄이고, SGLang(오픈소스)은 RadixAttention을 사용하여 더 유연한 프리픽스 캐싱을 제공합니다. 하드웨어 측면에서는 H100 이상에서 SGLang을 권장하고, Ampere 및 구형에서는 vLLM을 권장합니다. 단일 노드(8x H100, 640GB VRAM)의 최적 지점은 MoE 모델의 경우 약 120B까지, 밀집 모델의 경우 약 32B까지입니다. 텐서 병렬화(TP)는 지연 시간을 낮추고, 데이터 병렬화(DP)는 처리량을 최대화합니다. 프리필/디코드 분리는 가장 높은 처리량을 제공하지만 더 많은 엔지니어링이 필요합니다. 투기적 디코딩은 만병통치약이 아니며, 높은 동시성에서 성능이 저하됩니다. 기사는 프로덕션 배포를 위한 체크리스트로 마무리됩니다.