Alibaba, Qwen2.5-Coder'ı Yayınladı: 32B Parametreye Kadar, Açık Kaynak Kod Modelleri

Alibaba'nın Qwen ekibi, Qwen2.5 serisinin bir parçası olarak CodeQwen1.5'in halefi Qwen2.5-Coder'ı yayınladı. Modeller 1.5B, 7B ve yakında çıkacak 32B olmak üzere üç boyutta sunuluyor. Kaynak kod, metin-kod bağlantı verileri ve sentetik veriler dahil 5,5 trilyon token üzerinde eğitildiler; kodlama dışı yetenekleri korumak için ek matematik ve genel veriler de kullanıldı. Temel model, 128K token bağlamı, 92 programlama dilini destekliyor ve kod üretimi, tamamlama, onarım ve çok dilli kıyaslamalarda son teknoloji sonuçlar elde ediyor. 7B versiyonu, kod görevlerinde DeepSeek-Coder-V2-Lite ve CodeStral-22B'yi geride bırakıyor ve ayrıca GSM8K ve Math değerlendirmelerinde rekabetçi matematik performansı gösteriyor. Talimatla ayarlanmış varyant Qwen2.5-Coder-Instruct, görev performansını ve genellemeyi daha da iyileştiriyor; çok dilli kod akıl yürütme (McEval), kod akıl yürütme (CRUXEval) ve matematik akıl yürütme (GSM8K, OlympiadBench) alanlarında başarılı oluyor. Ayrıca MMLU, CEval ve diğer kıyaslamalarda güçlü genel yeteneklerini koruyor. Modeller Apache 2.0 lisansı altında yayınlandı. Sonraki adımlar arasında 32B versiyonu ve kod merkezli akıl yürütme modellerinin keşfi yer alıyor.