Tencent, AngelSpec'i Açık Kaynak Olarak Yayınladı: Hy3 Modellerinde MTP ve Blok-Paralel Tahminsel Kod Çözme için Birleşik Bir Eğitim Çerçevesi
Tencent
Tencent, tahminsel kod çözme taslak modelleri için AngelSpec adlı açık kaynaklı bir eğitim çerçevesini yayınladı. Çerçeve, hem otoregresif çoklu belirteç tahminini (MTP) hem de blok-paralel DFlash ailesini desteklemektedir. Bu çerçeve, farklı alanlar için yapı, eğitim verisi ve doğrulama derinliğini özelleştirerek iş yükü heterojenliğini ele almaktadır. İlk sonuçlar, DFly'nin Hy3-A21B üzerinde ortalama 4,79 kabul edilen uzunluğa ulaştığını ve MTP'ye göre %59,7'lik bir iyileşme sağladığını göstermektedir.
Tencent, spekülatif kod çözme draft modelleri için torch-native bir eğitim çerçevesi olan AngelSpec'i açık kaynak olarak yayınladı. Çerçeve, hem otoregresif çoklu token tahminini (MTP) hem de yeni bir mimari olan DFly'i içeren blok-paralel DFlash ailesini kapsıyor. AngelSpec, iş yükü heterojenliğini birinci sınıf bir kısıtlama olarak ele alıyor ve farklı alanlar için tamamlayıcı draft modelleri sunuyor: konuşma odaklı veriler için MTP ve kod/matematik için blok-difüzyon. MTP yolu, eğitim-çıkarım uyumsuzluğunu gidermek için hedef model rolloustu ile paylaşımlı parametreli, çok katmanlı bir şema kullanıyor. DFly, hibrit hedef koşullandırma ve öncül koşullu otoregresif bir kafa sunuyor. Qwen3-8B'de DFly, ortalama 5.41 kabul edilen token uzunluğuna ulaşırken, Hy3-A21B'de bu değer DFlash için 3.69 ve MTP için 3.00 iken DFly'de 4.79 oldu. Çerçeve, TTT rolloustu, 128k token'a kadar uzun bağlam eğitimi ve belge farkındalıklı dizi paketleme gibi özelliklerle TorchSpec üzerine inşa edilmiştir. Hugging Face ve ModelScope'da yedi kontrol noktası mevcuttur.
Kaynak: MarkTechPost —
orijinal