Alibaba Merilis Qwen2.5-Math: LLM Matematika Terbuka yang Canggih

Alibaba merilis Qwen2.5-Math, seri baru model bahasa matematika sumber terbuka yang mencakup model dasar Qwen2.5-Math-1.5B/7B/72B, versi instruksi, dan model reward matematika Qwen2.5-Math-RM-72B. Berbeda dengan Qwen2-Math, model baru ini mendukung pemecahan masalah dalam bahasa Inggris dan Mandarin menggunakan rantai pemikiran (Chain of Thought, CoT) maupun pemikiran berbasis alat terintegrasi (Tool-Integrated Reasoning, TIR). TIR memungkinkan peningkatan akurasi perhitungan dan menjalankan operasi algoritmik yang kompleks. Pada tolok ukur MATH, model Qwen2.5-Math-1.5B/7B/72B-Instruct dengan TIR mencapai skor 79,7, 85,3, dan 87,8 secara berturut-turut. Untuk prapelatihan, digunakan korpus Qwen Math Corpus v2 dengan volume lebih dari 1 triliun token. Model 72B-Instruct mengungguli GPT-4o dan Gemini Math-Specialized 1.5 Pro, meraih skor 92,9 pada MATH dengan TIR. Model 7B-Instruct melampaui Qwen2-Math-72B-Instruct. Pada tes olimpiade tingkat lanjut AIME 2024 dan AMC 2023, model-model ini juga menunjukkan hasil yang tinggi. Dilakukan dekontaminasi data untuk menghindari kebocoran. Demo tersedia dengan dukungan TIR.