Een visuele gids voor aandachtsvarianten in moderne LLM's

Sebastian Raschka heeft een visuele gids gepubliceerd over attention-varianten in moderne LLM’s, samen met een galerij van 45 LLM-architecturen. Het artikel behandelt multi-head attention (MHA), de historische context ervan, en grouped-query attention (GQA), dat KV-cachekosten verlaagt door key-value-koppen te delen. GQA is een populaire afweging tussen efficiëntie en kwaliteit. Multi-head latent attention (MLA), gebruikt in DeepSeek V3, comprimeert de cache agressiever terwijl het betere prestaties behoudt. Het artikel bespreekt ook sparse attention en hybride architecturen, en bevat voorbeeldmodellen voor elke variant. Een posterversie is beschikbaar via Redbubble.