Qwen2.5-LLM: भाषा मॉडलों की सीमाओं का विस्तार

अलीबाबा के Qwen टीम ने Qwen2.5 सीरीज़ के भाषा मॉडल घोषित किए, जो डिकोडर-ओनली डेंस मॉडल हैं। सात मॉडल ओपन-सोर्स किए गए: 0.5B, 1.5B, 3B, 7B, 14B, 32B, और 72B पैरामीटर। प्री-ट्रेनिंग डेटासेट 7 ट्रिलियन से बढ़ाकर 18 ट्रिलियन टोकन कर दिया गया। Qwen2 की तुलना में, Qwen2.5 MMLU, कोडिंग बेंचमार्क (LiveCodeBench, MultiPL-E, MBPP), और गणित बेंचमार्क (MATH) में सुधार दिखाता है। Qwen2.5-72B कई कार्यों में Llama-3-405B से बेहतर प्रदर्शन करता है, जबकि पाँचवाँ पैरामीटर उपयोग करता है। अतिरिक्त मॉडल Qwen-Plus और Qwen-Turbo अलीबाबा क्लाउड मॉडल स्टूडियो API के माध्यम से उपलब्ध हैं। अधिकांश मॉडल Apache 2.0 के तहत लाइसेंस प्राप्त हैं, Qwen2.5-3B और Qwen2.5-72B को छोड़कर, जिनके अलग लाइसेंस हैं।