Um Guia Visual para Variantes de Atenção em LLMs Modernos

Sebastian Raschka publicou um guia visual sobre variantes de atenção em LLMs modernos, junto com uma galeria de 45 arquiteturas de LLM. O artigo aborda a atenção multi-cabeça (Multi-Head Attention, MHA), seu contexto histórico, e a atenção de consulta agrupada (Grouped-Query Attention, GQA), que reduz os custos do cache KV ao compartilhar cabeças chave-valor. A GQA é um compromisso popular entre eficiência e qualidade. A atenção latente multi-cabeça (Multi-Head Latent Attention, MLA), usada no DeepSeek V3, comprime o cache de forma mais agressiva, mantendo melhor desempenho. O artigo também discute atenção esparsa e arquiteturas híbridas, e inclui modelos de exemplo para cada variante. Uma versão em pôster está disponível via Redbubble.