Forschung RSS

Open Source 🇺🇸

Tencent macht AngelSpec Open Source: Ein einheitliches Trainingsframework für MTP und blockparalleles spekulatives Decodieren auf Hy3-Modellen

Tencent hat AngelSpec veröffentlicht, ein Open-Source-Trainingsframework für spekulative Decodierungs-Draft-Modelle, das sowohl autoregressives Multi-Token Prediction (MTP) als auch die blockparallele DFlash-Familie unterstützt. Das Framework adressiert Arbeitslastheterogenität, indem es Struktur, Trainingsdaten und Verifikationstiefe für verschiedene Domänen spezialisiert. Erste Ergebnisse zeigen, dass DFly auf Hy3-A21B eine mittlere akzeptierte Länge von bis zu 4,79 erreicht, eine Verbesserung um 59,7 % gegenüber MTP.

TencentTencent
MarkTechPost30.07 · 14:03
Aktuelle Nachrichten