LLM Çıkarımı: KV-Cache'ten Üretime Dağıtıma
vLLM
SGLang
Meta
DeepSeek
Alibaba/Qwen
Moonshot AI
hh.ru'dan MLOps mühendisi, şirket içi donanımda LLM çıkarımının temellerini açıklıyor. Makale, KV-cache, çıkarım motorları vLLM ve SGLang, dikkat mekanizmalarının evrimi (Dikkat Başlıklarından Çoklu Sorgu Dikkatine, Gruplandırılmış Sorgu Dikkatine, Çok Katmanlı Dikkat ve Dağıtık Paylaşımlı Dikkate kadar) ve donanım ile paralellik şemalarının seçimi için pratik önerileri kapsıyor.
MLOps mühendisi Alexander Ryzhov'un hh.ru'daki makalesi, büyük dil modellerinin (LLM'ler) kendi sunucularında dağıtılmasına yönelik zorlukları ve çözümleri ele alıyor. Temel anlayış, çıkarım verimliliğinin GPU bellek yönetimi tarafından domine edilmesidir. KV-önbelleği, çözümleme aşamasını hesaplama sınırlıdan bellek bant genişliği sınırlıya kaydırır. Yazar, dikkat mekanizmalarının evrimini açıklıyor: 2017'de MHA (Çok Başlı Dikkat), 2023'te GQA (Gruplandırılmış Sorgu Dikkati), DeepSeek tarafından 2024'te MLA (Çok Katmanlı Dikkat) ve DeepSeek v3.2'de 2025'te DSA (Dinamik Spekülatif Dikkat). Her biri KV-önbelleği boyutunu azaltır. Açık kaynaklı çıkarım motoru vLLM, bellek parçalanmasını azaltmak için PagedAttention (Sayfalı Dikkat) kullanırken, yine açık kaynaklı SGLang, daha esnek önek önbellekleme için RadixAttention (Köklü Dikkat) kullanır. Donanım için, H100 ve üzeri için SGLang, Ampere ve daha eskiler için vLLM önerilir. Tek bir düğüm (8x H100, 640 GB VRAM) için ideal nokta, ~120B'ye kadar Uzman Karışımı (MoE) modelleri veya ~32B'ye kadar yoğun modellerdir. Tensör Paralelliği (TP) gecikmeyi azaltır, Veri Paralelliği (DP) iş hacmini maksimize eder. Ön yükleme/Çözümleme ayrıştırması en yüksek iş hacmini sağlar ancak daha fazla mühendislik gerektirir. Spekülatif çözümleme her derde deva değildir, yüksek eşzamanlılık altında performansı düşer. Makale, üretim dağıtımı için bir kontrol listesi ile sona erer.
Kaynak: Habr — хаб ИИ —
orijinal