Qwen2.5-LLM: توسيع حدود نماذج اللغة
Alibaba/Qwen
أصدر فريق Qwen من Alibaba سلسلة نماذج اللغة Qwen2.5، والتي تتضمن سبعة نماذج مفتوحة المصدر تتراوح من 0.5B إلى 72B معلمة. تتميز النماذج بمجموعة بيانات تدريب أولية أكبر (تصل إلى 18 تريليون رمز)، وقدرات محسنة في المعرفة والبرمجة والرياضيات، وتدعم أطوال سياق تصل إلى 128 ألف رمز.
أعلن فريق Qwen من شركة علي بابا عن سلسلة نماذج Qwen2.5 اللغوية، وهي نماذج كثيفة تعتمد على وحدة فك التشفير فقط. تم إصدار سبعة نماذج مفتوحة المصدر: 0.5 مليار، و1.5 مليار، و3 مليارات، و7 مليارات، و14 مليارًا، و32 مليارًا، و72 مليار معلمة. توسعت مجموعة بيانات التدريب المسبق من 7 تريليونات رمز إلى 18 تريليون رمز. مقارنة بـ Qwen2، يُظهر Qwen2.5 تحسنات في معيار MMLU، ومعايير البرمجة (LiveCodeBench وMultiPL-E وMBPP)، ومعايير الرياضيات (MATH). يتفوق Qwen2.5-72B على Llama-3-405B في عدة مهام مع استخدام خمس المعلمات. النماذج الإضافية Qwen-Plus وQwen-Turbo متاحة عبر واجهة برمجة تطبيقات Alibaba Cloud Model Studio. معظم النماذج مرخصة بموجب ترخيص Apache 2.0، باستثناء Qwen2.5-3B وQwen2.5-72B اللذين لهما تراخيص منفصلة.
المصدر: Alibaba Qwen —
الأصلي