Qwen2.5-LLM: Mở rộng ranh giới của các mô hình ngôn ngữ

阿里巴巴的Qwen团队发布了Qwen2.5系列语言模型，这些模型是仅解码器（decoder-only）的密集模型。开源了七个模型：参数量分别为0.5B、1.5B、3B、7B、14B、32B和72B。预训练数据集从7万亿个token扩展到18万亿个token。与Qwen2相比，Qwen2.5在MMLU、编程基准测试（LiveCodeBench、MultiPL-E、MBPP）和数学基准测试（MATH）上均有改进。Qwen2.5-72B在多个任务上优于Llama-3-405B，而参数量仅为后者的五分之一。此外，通过阿里云模型工作室API（Alibaba Cloud Model Studio API）可获取Qwen-Plus和Qwen-Turbo模型。除Qwen2.5-3B和Qwen2.5-72B有单独许可证外，大多数模型采用Apache 2.0许可证。