Tencent открывает исходный код AngelSpec: унифицированный фреймворк для обучения MTP и блочно-параллельного спекулятивного декодирования на моделях Hy3
Tencent выпустил AngelSpec — фреймворк с открытым исходным кодом для обучения моделей-черновиков спекулятивного декодирования, поддерживающий как авторегрессивное многотокенное предсказание (MTP, multi-token prediction), так и блочно-параллельное семейство DFlash. Фреймворк учитывает гетерогенность рабочей нагрузки, специализируя структуру, обучающие данные и глубину верификации для различных доменов. Ранние результаты показывают, что DFly достигает средней длины принятых токенов до 4,79 на Hy3-A21B, что на 59,7% лучше, чем MTP.
MarkTechPost30.07 · 14:03
