Tencent avoimoi AngelSpecin: yhtenäinen koulutuskehys MTP- ja lohkoparalleeliselle spekulatiiviselle dekoodaukselle Hy3-malleille

Tencent on avannut lähdekoodin AngelSpecille, torch-pohjaiselle koulutuskehykselle spekulatiivisen dekoodauksen luonnosmalleille. Se kattaa sekä autoregressiivisen monimerkkiprediktion (MTP, multi-token prediction) että lohkoparalleelin DFlash-perheen, mukaan lukien uuden arkkitehtuurin DFly. AngelSpec käsittelee työkuorman heterogeenisyyttä ensiluokkaisena rajoitteena tarjoten toisiaan täydentäviä luonnosmalleja eri domeeneille: MTP keskustelupainotteiselle datalle ja lohkodiffuusio koodille ja matematiikalle. MTP-polku käyttää jaettujen parametrien monisyvyysratkaisua kohdemallin rullauksen kanssa harjoitus-päättely-yhteensopimattomuuden käsittelemiseksi. DFly esittelee hybridin kohde-ehdollistamisen ja edeltäjäehdollisen autoregressiivisen pään. Qwen3-8B-mallilla DFly saavuttaa keskimääräisen hyväksytyn pituuden 5,41, ja Hy3-A21B-mallilla 4,79, verrattuna DFlashin 3,69:ään ja MTP:n 3,00:aan. Kehys on rakennettu TorchSpecin päälle ja sisältää ominaisuuksia kuten TTT-rullauksen, pitkän kontekstin koulutuksen jopa 128 000 tokeniin asti ja dokumenttitietoisen sekvenssipakkaamisen. Seitsemän tarkistuspistettä on saatavilla Hugging Facessa ja ModelScapessa.