Tencent Rilis AngelSpec Sumber Terbuka: Kerangka Pelatihan Terpadu untuk MTP dan Block-Parallel Speculative Decoding pada Model Hy3
Tencent
Tencent telah merilis AngelSpec, kerangka pelatihan sumber terbuka untuk model draft speculative decoding, yang mendukung baik multi-token prediction (MTP) autoregresif maupun keluarga DFlash yang paralel blok. Kerangka ini mengatasi heterogenitas beban kerja dengan menspesialisasikan struktur, data pelatihan, dan kedalaman verifikasi untuk domain yang berbeda. Hasil awal menunjukkan DFly mencapai panjang terima rata-rata hingga 4,79 pada Hy3-A21B, peningkatan sebesar 59,7% dibandingkan MTP.
Tencent telah merilis AngelSpec secara open-source, sebuah kerangka kerja pelatihan torch-native untuk model draf decoding spekulatif. Kerangka ini mencakup prediksi multi-token autoregresif (MTP) dan keluarga DFlash paralel-blok, termasuk arsitektur baru DFly. AngelSpec memperlakukan heterogenitas beban kerja sebagai kendala utama, menawarkan pembuat draf yang saling melengkapi untuk domain yang berbeda: MTP untuk data berorientasi percakapan dan difusi-blok untuk kode/matematika. Jalur MTP menggunakan skema multi-kedalaman dengan parameter bersama dan roll-out model target untuk mengatasi ketidakcocokan pelatihan-inferensi. DFly memperkenalkan pengkondisian target hibrida dan kepala autoregresif yang dikondisikan oleh pendahulu. Pada Qwen3-8B, DFly mencapai rata-rata panjang yang diterima 5,41, dan pada Hy3-A21B mencapai 4,79 dibandingkan dengan 3,69 untuk DFlash dan 3,00 untuk MTP. Kerangka kerja ini dibangun di atas TorchSpec dengan fitur-fitur seperti roll-out TTT, pelatihan konteks panjang hingga 128 ribu token, dan pengemasan urutan yang sadar dokumen. Tujuh titik pemeriksaan tersedia di Hugging Face dan ModelScope.
Sumber: MarkTechPost —
asli