перед сохранением в KV-кэше, что снижает использование памяти, а затем восстанавливает их при инференсе; по данным ablation studies из статьи DeepSeek-V2, MLA показывает лучшее качество моделирования, чем Grouped-Query Attention (GQA). MoE в DeepSeek V3 использует 256 экспертов на модуль, из которых активны только 9 (один общий и восемь, выбранных роутером), что позволяет модели с 671 миллиардом параметров использовать лишь 37 миллиардов за шаг инференса. В разделе об OLMo 2 отмечено, что модель от Allen Institute for AI примечательна прозрачностью и использует традиционное Multi-Head Attention (MHA) вместо MLA или GQA. Ключевое архитектурное отличие OLMo 2 — расположение слоёв нормализации: она применяет Post-Norm (RMSNorm после подуровней внимания и FeedForward), в отличие от более распространённого Pre-Norm, что, согласно исследованиям, улучшает сходимость градиентов при инициализации.