Qwen2.5-LLM：拓展语言模型的边界

阿里巴巴Qwen团队发布了Qwen2.5系列语言模型，这些模型是基于解码器架构的稠密模型。开源的七个模型参数规模分别为0.5B、1.5B、3B、7B、14B、32B和72B。预训练数据集从7万亿个词元（tokens）扩展到了18万亿个。与Qwen2相比，Qwen2.5在MMLU、编程基准测试（如LiveCodeBench、MultiPL-E、MBPP等）以及数学基准测试（如MATH）上均有提升。Qwen2.5-72B在多项任务上超越了Llama-3-405B，而前者的参数量仅为后者的五分之一。此外，Qwen-Plus和Qwen-Turbo这两个额外模型可通过阿里云模型工作室API（Alibaba Cloud Model Studio API）获取。除Qwen2.5-3B和Qwen2.5-72B使用单独的许可证外，大部分模型均采用Apache 2.0许可证。