Guía visual de las variantes de atención en los LLM modernos

Sebastian Raschka publicó una guía visual sobre las variantes de atención en los LLM modernos, junto con una galería de 45 arquitecturas de LLM. El artículo cubre la atención de múltiples cabezas (MHA, por sus siglas en inglés), su contexto histórico y la atención de consulta agrupada (GQA, por sus siglas en inglés), que reduce los costos de la caché KV al compartir las cabezas clave-valor. GQA es un compromiso popular entre eficiencia y calidad. La atención de múltiples cabezas latente (MLA, por sus siglas en inglés), utilizada en DeepSeek V3, comprime la caché de manera más agresiva mientras mantiene un mejor rendimiento. El artículo también analiza la atención dispersa y las arquitecturas híbridas, e incluye modelos de ejemplo para cada variante. Hay disponible una versión en póster a través de Redbubble.