Qwen2.5: Một bữa tiệc các mô hình nền tảng!
Alibaba/Qwen
Meta
Mistral
OpenAI
Anthropic
DeepSeek
Microsoft
Google/DeepMind
Đội ngũ Qwen của Alibaba công bố phát hành mã nguồn mở các mô hình ngôn ngữ lớn Qwen2.5, cùng với các mô hình chuyên biệt cho lập trình (Qwen2.5-Coder) và toán học (Qwen2.5-Math). Các mô hình có kích thước từ 0,5B đến 72B tham số, được tiền huấn luyện trên tới 18 nghìn tỷ token, với những cải tiến đáng kể về kiến thức, lập trình và khả năng toán học. Bản phát hành cũng bao gồm các mô hình API Qwen-Plus và Qwen-Turbo.
Nhóm Qwen của Alibaba vừa phát hành Qwen2.5, một họ mô hình ngôn ngữ mã nguồn mở chỉ có bộ giải mã, cùng với các mô hình chuyên biệt Qwen2.5-Coder và Qwen2.5-Math. Các mô hình có kích thước từ 0,5B đến 72B tham số, được tiền huấn luyện trên tới 18 nghìn tỷ token. Qwen2.5 đạt MMLU 85+, HumanEval 85+, và MATH 80+, hỗ trợ ngữ cảnh lên tới 128K token và sinh tối đa 8K, đồng thời cung cấp hỗ trợ đa ngôn ngữ cho hơn 29 ngôn ngữ. Qwen2.5-Coder được huấn luyện trên 5,5 nghìn tỷ token dữ liệu mã, trong khi Qwen2.5-Math hỗ trợ suy luận CoT, PoT và TIR. Các mô hình API hàng đầu Qwen-Plus và Qwen-Turbo cũng được cung cấp. Các biến thể 3B và 72B không được cấp phép Apache 2.0.
Nguồn: Alibaba Qwen —
bản gốc