Tencent open-sourcet AngelSpec: een uniform trainingsframework voor MTP en blok-parallelle speculatieve decodering op Hy3-modellen

Tencent heeft AngelSpec geopend als open-source: een op torch-native gebaseerd trainingsframework voor speculatieve-decoderings-draftmodellen. Het omvat zowel autoregressieve multi-token-predictie (MTP) als de block-parallelle DFlash-familie, inclusief een nieuwe architectuur DFly. AngelSpec beschouwt werklastheterogeniteit als een eersteklas beperking en biedt complementaire drafters voor verschillende domeinen: MTP voor conversatiegerichte data en block-diffusie voor code/wiskunde. Het MTP-pad gebruikt een gedeeld-parameter, multi-diepteschema met target-model-rollout om de mismatch tussen training en inferentie aan te pakken. DFly introduceert hybride target-conditionering en een voorganger-geconditioneerde autoregressieve kop. Op Qwen3-8B bereikt DFly een gemiddelde geaccepteerde lengte van 5,41, en op Hy3-A21B 4,79 tegenover 3,69 voor DFlash en 3,00 voor MTP. Het framework is gebouwd op TorchSpec met functies zoals TTT-rollout, training met lange contexten tot 128k tokens, en documentbewuste sequentiepakking. Zeven checkpoints zijn beschikbaar op Hugging Face en ModelScope.