Guia de Sobrevivência do Cache KV: Por Que Sua GPU Fica sem Memória com Modelos de Linguagem Locais
Meta
O artigo explica por que as GPUs ficam sem memória ao executar modelos de linguagem locais, focando no cache KV como o culpado. Oferece um guia de sobrevivência com técnicas para gerenciar o uso de memória.
O artigo explica que executar modelos de linguagem de grande porte (LLMs) localmente pode fazer com que as GPUs fiquem sem memória, sendo o cache de chave-valor (KV) um grande contribuinte. Ele descreve como o cache KV armazena valores intermediários de atenção, crescendo linearmente com o comprimento da sequência e o tamanho do lote, consumindo assim uma quantidade significativa de memória. O guia fornece estratégias como quantização, uso de atenção flash e optar por modelos menores ou usar offloading de CPU. Ele enfatiza as trocas entre economia de memória e velocidade ou qualidade.
Fonte: Meta AI (GNews) —
original