علي بابا تطلق Qwen2.5-Coder: نماذج كود مفتوحة المصدر تصل إلى 32 مليار معامل

أصدر فريق Qwen من شركة Alibaba نموذج Qwen2.5-Coder، خليفة CodeQwen1.5، ضمن سلسلة Qwen2.5. يتوفر النموذج بثلاثة أحجام: 1.5 مليار معلمة، و7 مليارات معلمة، وإصدار 32 مليار معلمة قادم قريبًا. تم تدريب النماذج على 5.5 تريليون رمز، بما في ذلك الكود المصدري وبيانات ربط النصوص بالكود وبيانات اصطناعية، بالإضافة إلى بيانات رياضيات وبيانات عامة إضافية للحفاظ على القدرات غير البرمجية. يدعم النموذج الأساسي سياقًا يصل إلى 128 ألف رمز و92 لغة برمجة، ويحقق نتائج متطورة في معايير توليد الكود وإكماله وإصلاحه ومتعدد اللغات. يتفوق إصدار 7 مليارات معلمة على نموذجي DeepSeek-Coder-V2-Lite وCodeStral-22B في مهام الكود، كما يُظهر أداءً تنافسيًا في الرياضيات في اختباري GSM8K وMath. يعمل الإصدار الموجه بالتعليمات Qwen2.5-Coder-Instruct على تحسين أداء المهام والتعميم، ويتفوق في الاستدلال البرمجي متعدد اللغات (McEval)، والاستدلال البرمجي (CRUXEval)، والاستدلال الرياضي (GSM8K، OlympiadBench). كما يحافظ على قدرات عامة قوية في معايير MMLU وCEval وغيرها. تم إصدار النماذج بموجب ترخيص Apache 2.0. تشمل الخطوات التالية إصدار 32 مليار معلمة واستكشاف نماذج استدلال مركزة على الكود.