Alibaba ने Qwen2.5-Coder जारी किया: 32B पैरामीटर तक, ओपन सोर्स कोड मॉडल

Alibaba के Qwen टीम ने Qwen2.5-Coder जारी किया, जो CodeQwen1.5 का उत्तराधिकारी है और Qwen2.5 श्रृंखला का हिस्सा है। मॉडल तीन आकारों में उपलब्ध हैं: 1.5B, 7B, और जल्द ही आने वाला 32B संस्करण। इन्हें 5.5 ट्रिलियन टोकन पर प्रशिक्षित किया गया है, जिसमें स्रोत कोड, टेक्स्ट-कोड ग्राउंडिंग डेटा, और सिंथेटिक डेटा शामिल है, साथ ही अतिरिक्त गणित और सामान्य डेटा भी है ताकि गैर-कोडिंग क्षमताओं को संरक्षित किया जा सके। बेस मॉडल 128K टोकन तक के संदर्भ, 92 प्रोग्रामिंग भाषाओं का समर्थन करता है, और कोड जनरेशन, पूर्णता, मरम्मत और बहु-भाषा बेंचमार्क पर अत्याधुनिक परिणाम प्राप्त करता है। 7B संस्करण कोड कार्यों पर DeepSeek-Coder-V2-Lite और CodeStral-22B से बेहतर प्रदर्शन करता है, और GSM8K और Math मूल्यांकनों पर प्रतिस्पर्धी गणित प्रदर्शन भी दिखाता है। इंस्ट्रक्शन-ट्यून्ड वैरिएंट, Qwen2.5-Coder-Instruct, कार्य प्रदर्शन और सामान्यीकरण को और बेहतर बनाता है, बहु-भाषा कोड तर्क (McEval), कोड तर्क (CRUXEval), और गणित तर्क (GSM8K, OlympiadBench) में उत्कृष्ट है। यह MMLU, CEval और अन्य बेंचमार्क पर मजबूत सामान्य क्षमताओं को भी बनाए रखता है। मॉडल Apache 2.0 लाइसेंस के तहत जारी किए गए हैं। अगले कदमों में 32B संस्करण और कोड-केंद्रित तर्क मॉडलों की खोज शामिल है।