Alibaba Merilis Qwen2.5-Coder: Hingga 32B Parameter, Model Kode Sumber Terbuka

Tim Qwen dari Alibaba merilis Qwen2.5-Coder, penerus CodeQwen1.5, sebagai bagian dari seri Qwen2.5. Model ini tersedia dalam tiga ukuran: 1,5B, 7B, dan versi 32B yang akan segera hadir. Model dilatih pada 5,5 triliun token, termasuk kode sumber, data ground-truth teks-kode, dan data sintetis, ditambah data matematika dan data umum untuk mempertahankan kemampuan non-coding. Model dasar mendukung konteks hingga 128K token, 92 bahasa pemrograman, dan mencapai hasil mutakhir pada pembangkitan kode, penyelesaian, perbaikan, dan tolok ukur multibahasa. Versi 7B mengungguli DeepSeek-Coder-V2-Lite dan CodeStral-22B pada tugas kode, serta menunjukkan performa matematika yang kompetitif pada evaluasi GSM8K dan Math. Varian yang disesuaikan dengan instruksi, Qwen2.5-Coder-Instruct, lebih meningkatkan performa tugas dan generalisasi, unggul dalam penalaran kode multibahasa (McEval), penalaran kode (CRUXEval), dan penalaran matematika (GSM8K, OlympiadBench). Model ini juga mempertahankan kemampuan umum yang kuat pada MMLU, CEval, dan tolok ukur lainnya. Model dirilis di bawah lisensi Apache 2.0. Langkah selanjutnya termasuk versi 32B dan eksplorasi model penalaran yang berfokus pada kode.