Alibaba lança Qwen2.5-Math: LLMs matemáticos de código aberto de ponta

A Alibaba lançou o Qwen2.5-Math, uma nova série de LLMs matemáticos de código aberto, que inclui os modelos base Qwen2.5-Math-1.5B/7B/72B, versões instrucionais e um modelo de recompensa matemática, o Qwen2.5-Math-RM-72B. Diferentemente do Qwen2-Math, os novos modelos suportam a resolução de problemas em inglês e chinês, tanto por meio de cadeia de raciocínio (CoT, do inglês "Chain of Thought") quanto por meio de raciocínio integrado a ferramentas (TIR, do inglês "Tool-Integrated Reasoning"). O TIR permite aumentar a precisão dos cálculos e executar operações algorítmicas complexas. No benchmark MATH, os modelos Qwen2.5-Math-1.5B/7B/72B-Instruct com TIR alcançaram 79,7, 85,3 e 87,8 pontos, respectivamente. Para o pré-treinamento, foi utilizado o corpus Qwen Math Corpus v2, com mais de 1 trilhão de tokens. Os modelos 72B-Instruct superaram o GPT-4o e o Gemini Math-Specialized 1.5 Pro, obtendo 92,9 pontos no MATH com TIR. O modelo 7B-Instruct superou o Qwen2-Math-72B-Instruct. Nos testes complexos de olimpíadas AIME 2024 e AMC 2023, os modelos também apresentaram altos resultados. Foi realizada descontaminação dos dados para evitar vazamento. Uma versão demo está disponível com suporte a TIR.