Tencent, AngelSpec'i Açık Kaynak Olarak Yayınladı: Hy3 Modellerinde MTP ve Blok-Paralel Tahminli Kod Çözme için Birleşik Bir Eğitim Çerçevesi
Tencent
Tencent, hem otoregresif çoklu-token tahmini (MTP) hem de blok-paralel DFlash ailesini destekleyen, tahminli kod çözme taslak modelleri için açık kaynaklı bir eğitim çerçevesi olan AngelSpec'i yayınladı. Çerçeve, farklı alanlar için yapı, eğitim verisi ve doğrulama derinliğini özelleştirerek iş yükü heterojenliğini ele alıyor. İlk sonuçlar, DFly'nin Hy3-A21B'de ortalama 4,79 kabul uzunluğuna ulaştığını ve MTP'ye göre %59,7 iyileşme sağladığını gösteriyor.
Tencent, spekülatif kod çözme draft modelleri için torch-native bir eğitim çerçevesi olan AngelSpec'i açık kaynak olarak yayınladı. Çerçeve, hem otoregresif çoklu token tahminini (MTP) hem de yeni bir mimari olan DFly'i içeren blok-paralel DFlash ailesini kapsıyor. AngelSpec, iş yükü heterojenliğini birinci sınıf bir kısıtlama olarak ele alıyor ve farklı alanlar için tamamlayıcı draft modelleri sunuyor: konuşma odaklı veriler için MTP ve kod/matematik için blok-difüzyon. MTP yolu, eğitim-çıkarım uyumsuzluğunu gidermek için hedef model rolloustu ile paylaşımlı parametreli, çok katmanlı bir şema kullanıyor. DFly, hibrit hedef koşullandırma ve öncül koşullu otoregresif bir kafa sunuyor. Qwen3-8B'de DFly, ortalama 5.41 kabul edilen token uzunluğuna ulaşırken, Hy3-A21B'de bu değer DFlash için 3.69 ve MTP için 3.00 iken DFly'de 4.79 oldu. Çerçeve, TTT rolloustu, 128k token'a kadar uzun bağlam eğitimi ve belge farkındalıklı dizi paketleme gibi özelliklerle TorchSpec üzerine inşa edilmiştir. Hugging Face ve ModelScope'da yedi kontrol noktası mevcuttur.
Kaynak: MarkTechPost —
orijinal