Tencent Merilis Sumber Terbuka AngelSpec: Kerangka Pelatihan Terpadu untuk MTP dan Speculative Decoding Paralel Blok pada Model Hy3

Tencent telah merilis AngelSpec secara open-source, sebuah kerangka kerja pelatihan torch-native untuk model draf decoding spekulatif. Kerangka ini mencakup prediksi multi-token autoregresif (MTP) dan keluarga DFlash paralel-blok, termasuk arsitektur baru DFly. AngelSpec memperlakukan heterogenitas beban kerja sebagai kendala utama, menawarkan pembuat draf yang saling melengkapi untuk domain yang berbeda: MTP untuk data berorientasi percakapan dan difusi-blok untuk kode/matematika. Jalur MTP menggunakan skema multi-kedalaman dengan parameter bersama dan roll-out model target untuk mengatasi ketidakcocokan pelatihan-inferensi. DFly memperkenalkan pengkondisian target hibrida dan kepala autoregresif yang dikondisikan oleh pendahulu. Pada Qwen3-8B, DFly mencapai rata-rata panjang yang diterima 5,41, dan pada Hy3-A21B mencapai 4,79 dibandingkan dengan 3,69 untuk DFlash dan 3,00 untuk MTP. Kerangka kerja ini dibangun di atas TorchSpec dengan fitur-fitur seperti roll-out TTT, pelatihan konteks panjang hingga 128 ribu token, dan pengemasan urutan yang sadar dokumen. Tujuh titik pemeriksaan tersedia di Hugging Face dan ModelScope.