现代大语言模型注意力变体视觉指南

Sebastian Raschka 发布了一份关于现代大型语言模型中注意力机制变体的可视化指南，并附带了 45 种大型语言模型架构的图集。文章涵盖了多头注意力（multi-head attention，MHA）及其历史背景，以及分组查询注意力（grouped-query attention，GQA），后者通过共享键值头降低了键值缓存成本。GQA 是效率和品质之间的一种流行权衡。多头潜在注意力（multi-head latent attention，MLA，用于 DeepSeek V3）更积极地压缩缓存，同时保持更佳性能。文章还讨论了稀疏注意力和混合架构，并为每种变体提供了示例模型。可通过 Redbubble 获取海报版。