现代大语言模型中注意力机制变体的视觉指南
本文提供了现代大语言模型中注意力机制的可视化概述，涵盖从标准多头注意力（MHA）到分组查询注意力（GQA）、多头潜在注意力（MLA）、稀疏注意力以及混合架构。并附有一个包含45个条目的LLM架构画廊及海报版本。
OpenAI
Allen Institute for AI
Meta
Alibaba/Qwen
Google/DeepMind
Mistral
Hugging Face
Cohere
Sebastian Raschka28.07 · 15:05
