Alibaba lance Qwen2.5-Math : des LLM mathématiques open source de pointe

Alibaba a dévoilé Qwen2.5-Math, une nouvelle série de LLM mathématiques open source, incluant les modèles de base Qwen2.5-Math-1.5B/7B/72B, des versions instruites, et un modèle de récompense mathématique Qwen2.5-Math-RM-72B. Contrairement à Qwen2-Math, les nouveaux modèles prennent en charge la résolution de problèmes en anglais et en chinois, aussi bien par chaîne de raisonnement (CoT) que par raisonnement intégré avec outils (TIR). Le TIR permet d'améliorer la précision des calculs et d'effectuer des opérations algorithmiques complexes. Sur le benchmark MATH, les modèles Qwen2.5-Math-1.5B/7B/72B-Instruct avec TIR ont obtenu respectivement 79,7, 85,3 et 87,8 points. Pour le pré-entraînement, un corpus Qwen Math Corpus v2 de plus de 1000 milliards de tokens a été utilisé. Les modèles 72B-Instruct ont surpassé GPT-4o et Gemini Math-Specialized 1.5 Pro, obtenant 92,9 points sur MATH avec TIR. Le modèle 7B-Instruct a surpassé Qwen2-Math-72B-Instruct. Sur les tests olympiques complexes AIME 2024 et AMC 2023, les modèles ont également montré des performances élevées. Une décontamination des données a été effectuée pour éviter les fuites. Une démo est disponible avec support TIR.