Tencent открывает исходный код AngelSpec: унифицированный фреймворк для тренировки методов MTP и блочно-параллельного спекулятивного декодирования на моделях Hy3

Компания Tencent выпустила AngelSpec — фреймворк с открытым исходным кодом для тренировки черновых моделей спекулятивного декодирования, поддерживающий как авторегрессионное многотокенное предсказание (multi-token prediction, MTP), так и семейство блочно-параллельных моделей DFlash. Фреймворк решает проблему неоднородности рабочей нагрузки за счет специализации структуры, обучающих данных и глубины верификации для разных областей. Первые результаты показывают, что DFly достигает средней длины принятых токенов до 4,79 на модели Hy3-A21B, что на 59,7% лучше по сравнению с MTP.