Alibaba phát hành Qwen2.5-Math: các mô hình ngôn ngữ toán học nguồn mở tiên tiến

Alibaba đã phát hành Qwen2.5-Math, một loạt mô hình ngôn ngữ lớn (LLM) toán học mã nguồn mở mới, bao gồm các mô hình nền tảng Qwen2.5-Math-1.5B/7B/72B, phiên bản hướng dẫn và mô hình phần thưởng toán học Qwen2.5-Math-RM-72B. Khác với Qwen2-Math, các mô hình mới hỗ trợ giải bài tập bằng tiếng Anh và tiếng Trung thông qua cả chuỗi suy luận (Chain-of-Thought, CoT) và tư duy tích hợp công cụ (Tool-integrated Reasoning, TIR). TIR cho phép tăng độ chính xác tính toán và thực hiện các thao tác thuật toán phức tạp. Trên benchmark MATH, các mô hình Qwen2.5-Math-1.5B/7B/72B-Instruct với TIR đạt lần lượt 79,7; 85,3 và 87,8 điểm. Để tiền huấn luyện, nhóm nghiên cứu đã sử dụng kho ngữ liệu Qwen Math Corpus v2 với hơn 1 nghìn tỷ token. Mô hình 72B-Instruct vượt trội so với GPT-4o và Gemini Math-Specialized 1.5 Pro, đạt 92,9 điểm trên MATH khi sử dụng TIR. Mô hình 7B-Instruct vượt qua Qwen2-Math-72B-Instruct. Trên các bài kiểm tra Olympic khó như AIME 2024 và AMC 2023, các mô hình cũng đạt kết quả cao. Quá trình khử nhiễm dữ liệu đã được thực hiện để tránh rò rỉ thông tin. Phiên bản demo hiện có sẵn với hỗ trợ TIR.