كوين 2.5-LLM: توسيع حدود نماذج اللغة
Alibaba/Qwen
أصدر فريق كوين من مجموعة علي بابا سلسلة نماذج كوين 2.5 من نماذج اللغة، بما في ذلك سبعة نماذج مفتوحة المصدر تتراوح من 0.5 مليار إلى 72 مليار معلمة. تتميز النماذج بمجموعة بيانات تدريب قبلية أكبر (حتى 18 تريليون رمز)، وقدرات محسنة في المعرفة والبرمجة والرياضيات، وتدعم أطوال سياق تصل إلى 128 ألف رمز.
أعلن فريق Qwen من شركة علي بابا عن سلسلة نماذج Qwen2.5 اللغوية، وهي نماذج كثيفة تعتمد على وحدة فك التشفير فقط. تم إصدار سبعة نماذج مفتوحة المصدر: 0.5 مليار، و1.5 مليار، و3 مليارات، و7 مليارات، و14 مليارًا، و32 مليارًا، و72 مليار معلمة. توسعت مجموعة بيانات التدريب المسبق من 7 تريليونات رمز إلى 18 تريليون رمز. مقارنة بـ Qwen2، يُظهر Qwen2.5 تحسنات في معيار MMLU، ومعايير البرمجة (LiveCodeBench وMultiPL-E وMBPP)، ومعايير الرياضيات (MATH). يتفوق Qwen2.5-72B على Llama-3-405B في عدة مهام مع استخدام خمس المعلمات. النماذج الإضافية Qwen-Plus وQwen-Turbo متاحة عبر واجهة برمجة تطبيقات Alibaba Cloud Model Studio. معظم النماذج مرخصة بموجب ترخيص Apache 2.0، باستثناء Qwen2.5-3B وQwen2.5-72B اللذين لهما تراخيص منفصلة.
المصدر: Alibaba Qwen —
الأصلي