Alibaba lanza Qwen2.5-Coder: hasta 32.000 millones de parámetros, modelos de código abierto

El equipo de Qwen de Alibaba lanzó Qwen2.5-Coder, el sucesor de CodeQwen1.5, como parte de la serie Qwen2.5. Los modelos están disponibles en tres tamaños: 1.5B, 7B y una versión de 32B que llegará próximamente. Han sido entrenados con 5,5 billones de tokens, que incluyen código fuente, datos de vinculación texto-código y datos sintéticos, además de datos adicionales de matemáticas y datos generales para preservar las habilidades no relacionadas con la programación. El modelo base admite hasta 128K tokens de contexto, 92 lenguajes de programación y logra resultados de vanguardia en generación, finalización, reparación y evaluación de código en múltiples lenguajes. La versión de 7B supera a DeepSeek-Coder-V2-Lite y CodeStral-22B en tareas de código, y también muestra un rendimiento matemático competitivo en las evaluaciones GSM8K y Math. La variante ajustada por instrucciones, Qwen2.5-Coder-Instruct, mejora aún más el rendimiento en tareas y la generalización, destacando en razonamiento de código multilingüe (McEval), razonamiento de código (CRUXEval) y razonamiento matemático (GSM8K, OlympiadBench). También mantiene sólidas habilidades generales en MMLU, CEval y otros puntos de referencia. Los modelos se publican bajo la licencia Apache 2.0. Los próximos pasos incluyen una versión de 32B y la exploración de modelos de razonamiento centrados en el código.