新的开源大语言模型越来越注重高效的长上下文处理。Gemma 4（谷歌）在层间共享KV张量以减少缓存大小，并采用逐层嵌入提高参数效率。Laguna XS.2（Poolside）使用逐层注意力预算分配，DeepSeek V4引入了mHC和压缩注意力机制。
Google/DeepMind
Poolside
DeepSeek
Technology Innovation Institute
Poolside 发布了 Laguna S 2.1，这是一款开源权重模型，拥有 118 亿参数，每个 token 活跃参数为 80 亿，专为智能体编码设计。该模型基于混合专家（MoE）架构，支持高达 100 万 token 的上下文，并可在单个 NVIDIA DGX Spark 上运行。Laguna S 2.1 在 Terminal-Bench 2.1（70.2%）和 SWE-Bench Multilingual（78.5%）上，在已知规模的开源模型中排名第一，超越了众多更大的竞争对手。
Poolside
DeepSeek
NVIDIA
Tencent
Moonshot AI
Alibaba/Qwen
Anthropic