Tencent disponibiliza como código aberto AngelSpec: um framework de treinamento unificado para MTP e decodificação especulativa em paralelo por bloco em modelos Hy3

A Tencent disponibilizou como código aberto o AngelSpec, um framework de treinamento nativo do PyTorch para modelos de rascunho de decodificação especulativa. Ele abrange tanto a predição autorregressiva de múltiplos tokens (MTP, do inglês ‘multi-token prediction’) quanto a família block-parallel DFlash, incluindo uma nova arquitetura chamada DFly. O AngelSpec trata a heterogeneidade da carga de trabalho como uma restrição de primeira classe, oferecendo rascunhadores complementares para diferentes domínios: MTP para dados orientados a conversação e difusão em bloco para código/matemática. O caminho MTP utiliza um esquema de parâmetros compartilhados e múltiplas profundidades com rollout do modelo alvo para resolver a incompatibilidade entre treinamento e inferência. O DFly introduz um condicionamento híbrido ao alvo e uma cabeça autorregressiva condicionada ao predecessor. No Qwen3-8B, o DFly atinge um comprimento médio aceito de 5,41, e no Hy3-A21B, 4,79 contra 3,69 do DFlash e 3,00 do MTP. O framework é construído sobre o TorchSpec com recursos como rollout TTT (do inglês ‘Test-Time Training’), treinamento de contexto longo de até 128 mil tokens e empacotamento de sequências com consciência de documento. Sete pontos de verificação estão disponíveis no Hugging Face e no ModelScope.