腾讯开源AngelSpec：Hy3模型上MTP与块并行推测解码的统一训练框架

腾讯已开源 AngelSpec，这是一个基于 torch 原生的训练框架，用于推测解码草稿模型。它涵盖了自回归多令牌预测（MTP）和块并行 DFlash 系列（包括新架构 DFly）。AngelSpec 将工作负载异构性视为首要约束条件，为不同领域提供互补的草稿模型：面向对话数据的 MTP 和面向代码/数学的块扩散模型。MTP 路径采用共享参数、多深度方案，并结合目标模型展开（rollout）以解决训练-推理不匹配问题。DFly 引入了混合目标条件化和前驱条件自回归头。在 Qwen3-8B 上，DFly 的平均接受长度达到 5.41；在 Hy3-A21B 上，该值为 4.79，而 DFlash 为 3.69，MTP 为 3.00。该框架构建于 TorchSpec 之上，具有 TTT 展开、最长支持 128k 令牌的长上下文训练以及文档感知序列打包等功能。Hugging Face 和 ModelScope 上提供了七个检查点。