تنسن تفتح المصدر لـ AngelSpec: إطار تدريبي موحد لـ MTP وفك الترميز التخميني المتوازي للكتل على نماذج Hy3
Tencent
أطلقت تنسن AngelSpec، وهو إطار تدريبي مفتوح المصدر لنماذج فك الترميز التخمينية، يدعم كلاً من التنبؤ متعدد الرموز الذاتي (MTP) وعائلة DFlash المتوازية للكتل. يعالج الإطار عدم تجانس عبء العمل من خلال تخصيص الهيكل وبيانات التدريب وعمق التحقق لمجالات مختلفة. تظهر النتائج الأولية أن DFly يحقق متوسط طول مقبول يصل إلى 4.79 على Hy3-A21B، بتحسن بنسبة 59.7% مقارنة بـ MTP.
أعلنت Tencent عن فتح كود إطار عمل AngelSpec، وهو إطار عمل تدريبي أصلي لـ PyTorch لنماذج المسودة القائمة على التخمين التكهني (speculative decoding). يغطي الإطار كلاً من التنبؤ متعدد الرموز الذاتي الانحدار (MTP) وعائلة DFlash المتوازية بالكتل، بما في ذلك بنية جديدة تسمى DFly. يعالج AngelSpec عدم تجانس أعباء العمل كقيد من الدرجة الأولى، مما يوفر أدوات مسودة تكميلية لمجالات مختلفة: MTP للبيانات الموجهة نحو المحادثة والانتشار الكتلي للبرمجة والرياضيات. يستخدم مسار MTP مخططاً متعدد الأعماق بمشاركة المعلمات مع نشر النموذج المستهدف لمعالجة عدم التطابق بين التدريب والاستدلال. تقدم DFly تنظيم الهدف الهجين ورأساً ذاتي الانحدار مشروطاً بالسابق. على Qwen3-8B، تحقق DFly متوسط طول مقبول يبلغ 5.41، وعلى Hy3-A21B، تبلغ النسبة 4.79 مقابل 3.69 لـ DFlash و3.00 لـ MTP. تم بناء الإطار على TorchSpec مع ميزات مثل نشر TTT، والتدريب ذو السياق الطويل حتى 128 ألف رمز، وتجميع التسلسل الواعي بالمستندات. تتوفر سبع نقاط تحقق على Hugging Face وModelScope.
المصدر: MarkTechPost —
الأصلي
