Le Guide de Survie du Cache KV : Pourquoi Votre GPU Manque de Mémoire avec les LLM Locaux
Meta
L'article explique pourquoi les GPU manquent de mémoire lors de l'exécution de LLM locaux, en pointant du doigt le cache KV comme coupable. Il propose un guide de survie avec des techniques pour gérer l'utilisation de la mémoire.
L'article explique que l'exécution de grands modèles de langage (LLM) locaux peut entraîner une saturation de la mémoire des GPU, le cache clé-valeur (KV) étant un contributeur majeur. Il décrit comment le cache KV stocke les valeurs d'attention intermédiaires, augmentant linéairement avec la longueur de la séquence et la taille du lot, consommant ainsi une mémoire importante. Le guide propose des stratégies telles que la quantification, l'utilisation de l'attention flash, et l'option de modèles plus petits ou le déchargement sur CPU. Il souligne les compromis entre les économies de mémoire et la vitesse ou la qualité.
Source: Meta AI (GNews) —
original