टेनसेंट ने AngelSpec को ओपन-सोर्स किया: हाइ3 मॉडल्स पर MTP और ब्लॉक-पैरेलल स्पेक्युलेटिव डिकोडिंग के लिए एकीकृत प्रशिक्षण ढांचा

Tencent ने AngelSpec को ओपन-सोर्स किया है, जो स्पेक्युलेटिव-डिकोडिंग ड्राफ्ट मॉडल्स के लिए एक टॉर्च-नेटिव ट्रेनिंग फ्रेमवर्क है। यह ऑटोरेग्रेसिव मल्टी-टोकन प्रेडिक्शन (MTP) और ब्लॉक-पैरेलल DFlash परिवार दोनों को कवर करता है, जिसमें एक नई आर्किटेक्चर DFly शामिल है। AngelSpec वर्कलोड हेटेरोजिनिटी को एक प्रथम श्रेणी की बाधा के रूप में मानता है, विभिन्न डोमेन के लिए पूरक ड्राफ्टर प्रदान करता है: वार्तालाप-उन्मुख डेटा के लिए MTP और कोड/मैथ के लिए ब्लॉक-डिफ्यूज़न। MTP पथ ट्रेन-इनफरेंस मिसमैच को संबोधित करने के लिए एक शेयर्ड-पैरामीटर, मल्टी-डेप्थ स्कीम और टार्गेट-मॉडल रोलआउट का उपयोग करता है। DFly हाइब्रिड टार्गेट कंडीशनिंग और एक पूर्ववर्ती-कंडीशन्ड ऑटोरेग्रेसिव हेड प्रस्तुत करता है। Qwen3-8B पर, DFly की औसत स्वीकृत लंबाई 5.41 है, और Hy3-A21B पर यह 4.79 है, जबकि DFlash के लिए 3.69 और MTP के लिए 3.00 है। यह फ्रेमवर्क TorchSpec पर आधारित है, जिसमें TTT रोलआउट, 128k टोकन तक लॉन्ग-कॉन्टेक्स्ट ट्रेनिंग और डॉक्यूमेंट-अवेयर सीक्वेंस पैकिंग जैसी सुविधाएं हैं। Hugging Face और ModelScope पर सात चेकपॉइंट उपलब्ध हैं।