Tencent открывает исходный код AngelSpec: унифицированный фреймворк для обучения MTP и блочно-параллельного спекулятивного декодирования на моделях Hy3
Tencent
Tencent выпустил AngelSpec — фреймворк с открытым исходным кодом для обучения моделей-черновиков спекулятивного декодирования, поддерживающий как авторегрессивное многотокенное предсказание (MTP, multi-token prediction), так и блочно-параллельное семейство DFlash. Фреймворк учитывает гетерогенность рабочей нагрузки, специализируя структуру, обучающие данные и глубину верификации для различных доменов. Ранние результаты показывают, что DFly достигает средней длины принятых токенов до 4,79 на Hy3-A21B, что на 59,7% лучше, чем MTP.
Tencent открыл исходный код AngelSpec — фреймворка для обучения моделей-драфтеров спекулятивного декодирования на основе Torch. Он охватывает как авторегрессивное многотокенное предсказание (Multi-Token Prediction, MTP), так и семейство блочно-параллельных моделей DFlash, включая новую архитектуру DFly. AngelSpec рассматривает гетерогенность рабочей нагрузки как ограничение первого порядка,
Показать ещё ↓
Источник: MarkTechPost —
оригинал