Tencent veröffentlicht AngelSpec als Open Source: Ein einheitliches Trainingsframework für MTP und block-paralleles spekulatives Decoding auf Hy3-Modellen

Tencent hat AngelSpec als quelloffenes Framework veröffentlicht, das auf Torch basiert und für das Training von Draft-Modellen mit spekulativer Dekodierung optimiert ist. Es umfasst sowohl die autoregressive Multi-Token Prediction (MTP) als auch die block-parallele DFlash-Familie, einschließlich einer neuen Architektur namens DFly. AngelSpec behandelt Arbeitslast-Heterogenität als erstklassige Randbedingung und bietet komplementäre Draft-Modelle für verschiedene Bereiche: MTP für konversationsorientierte Daten und Blockdiffusion für Code/Mathematik. Der MTP-Pfad verwendet ein Schema mit gemeinsam genutzten Parametern und mehreren Tiefen sowie Rollout des Zielmodells, um das Trainings-Inferenz-Missverhältnis zu beheben. DFly führt eine hybride Zielkonditionierung und einen vorgängerbedingten autoregressiven Kopf ein. Bei Qwen3-8B erreicht DFly eine durchschnittliche mittlere akzeptierte Länge von 5,41, bei Hy3-A21B 4,79 im Vergleich zu 3,69 für DFlash und 3,00 für MTP. Das Framework baut auf TorchSpec auf und bietet Funktionen wie TTT-Rollout, Langkontext-Training von bis zu 128k Token und dokumentenbewusste Sequenzpackung. Sieben Prüfpunkte sind auf Hugging Face und ModelScope verfügbar.