顶尖NLP面试题：大语言模型架构、推理与优化

现代生成式大语言模型大多是仅解码器架构的Transformer，像GPT、LLaMA、Mistral、Qwen和Gemma这些系列，它们在开放性、参数量（从数亿到数千亿不等）、架构细节（密集与专家混合）、注意力类型、归一化方法、位置编码、多层感知机实现细节、上下文窗口长度（如4k、32k、128k个词元）、多模态支持、训练方法和许可证等方面存在差异。与经典Transformer相比，现代大语言模型采用前置归一化而非后置归一化（训练更稳定），使用均方根归一化（RMSNorm）而非层归一化（LayerNorm）（成本更低），采用SwiGLU门控前馈网络（表达能力更强，但多了一个线性层），使用旋转位置嵌入（RoPE），采用多查询注意力（MQA）或分组查询注意力（GQA）替代完整的多头注意力，有时还会使用专家混合（MoE）技术实现条件计算，支持更长的上下文，并进行了推理优化。推理成本高昂，因为自回归生成过程每个词元都要读取全部权重，KV缓存会随着上下文和批处理规模增长，并且推理分两个阶段：预填充（计算密集）和解码（内存密集）。延迟（首词元时间、词元间延迟）与吞吐量之间的权衡至关重要；优化技术包括KV缓存、分页注意力、连续批处理、投机解码、量化和蒸馏。