Tencent brengt AngelSpec uit als open-source: een uniform trainingsframework voor MTP en blok-parallelle speculatieve decodering op Hy3-modellen
Tencent
Tencent heeft AngelSpec uitgebracht, een open-source trainingsframework voor speculatieve-decodering conceptmodellen, dat zowel autoregressieve multi-token voorspelling (MTP) als de blok-parallelle DFlash-familie ondersteunt. Het framework pakt werkbelastingheterogeniteit aan door structuur, trainingsdata en verificatiediepte te specialiseren voor verschillende domeinen. Vroege resultaten laten zien dat DFly een gemiddelde geaccepteerde lengte van 4,79 bereikt op Hy3-A21B, een verbetering van 59,7% ten opzichte van MTP.
Tencent heeft AngelSpec geopend als open-source: een op torch-native gebaseerd trainingsframework voor speculatieve-decoderings-draftmodellen. Het omvat zowel autoregressieve multi-token-predictie (MTP) als de block-parallelle DFlash-familie, inclusief een nieuwe architectuur DFly. AngelSpec beschouwt werklastheterogeniteit als een eersteklas beperking en biedt complementaire drafters voor verschillende domeinen: MTP voor conversatiegerichte data en block-diffusie voor code/wiskunde. Het MTP-pad gebruikt een gedeeld-parameter, multi-diepteschema met target-model-rollout om de mismatch tussen training en inferentie aan te pakken. DFly introduceert hybride target-conditionering en een voorganger-geconditioneerde autoregressieve kop. Op Qwen3-8B bereikt DFly een gemiddelde geaccepteerde lengte van 5,41, en op Hy3-A21B 4,79 tegenover 3,69 voor DFlash en 3,00 voor MTP. Het framework is gebouwd op TorchSpec met functies zoals TTT-rollout, training met lange contexten tot 128k tokens, en documentbewuste sequentiepakking. Zeven checkpoints zijn beschikbaar op Hugging Face en ModelScope.
Bron: MarkTechPost —
origineel