Qwen2.5-LLM: Expandiendo los Límites de los Modelos de Lenguaje
Alibaba/Qwen
El equipo Qwen de Alibaba ha lanzado la serie de modelos de lenguaje Qwen2.5, que incluye siete modelos de código abierto que van desde 0.5B hasta 72B parámetros. Los modelos presentan un conjunto de datos de preentrenamiento más grande (hasta 18 billones de tokens), capacidades mejoradas de conocimiento, codificación y matemáticas, y soportan longitudes de contexto de hasta 128K tokens.
El equipo Qwen de Alibaba anunció la serie de modelos de lenguaje Qwen2.5, modelos densos exclusivamente decoder. Se han publicado siete modelos como código abierto: 0.5B, 1.5B, 3B, 7B, 14B, 32B y 72B parámetros. El conjunto de datos de preentrenamiento se expandió de 7 billones a 18 billones de tokens. En comparación con Qwen2, Qwen2.5 muestra mejoras en MMLU, benchmarks de codificación (LiveCodeBench, MultiPL-E, MBPP) y benchmarks matemáticos (MATH). Qwen2.5-72B supera a Llama-3-405B en varias tareas utilizando una quinta parte de los parámetros. Los modelos adicionales Qwen-Plus y Qwen-Turbo están disponibles a través de la API de Alibaba Cloud Model Studio. La mayoría de los modelos están licenciados bajo Apache 2.0, excepto Qwen2.5-3B y Qwen2.5-72B que tienen licencias separadas.
Fuente: Alibaba Qwen —
original