ألي بابا تمدد طول سياق Qwen2.5-Turbo إلى مليون رمز

أعلنت شركة Alibaba عن نموذج Qwen2.5-Turbo، الذي يمدد طول السياق من 128 ألف رمز إلى مليون رمز، وهو ما يعادل حوالي مليون كلمة إنجليزية أو 1.5 مليون حرف صيني. يحقق النموذج دقة 100% في مهمة استرجاع المفاتيح (Passkey Retrieval) بطول مليون رمز، ويحصل على 93.1 في معيار تقييم النص الطويل RULER، متجاوزًا GPT-4 الذي حصل على 91.6 وGLM4-9B-1M الذي حصل على 89.9. باستخدام آليات الانتباه المتناثر، يتم تقليل وقت أول رمز لسياق بطول مليون رمز من 4.9 دقائق إلى 68 ثانية، أي تسريع بمقدار 4.3 مرة. يظل السعر 0.3 يوان صيني لكل مليون رمز، مما يسمح لـ Qwen2.5-Turbo بمعالجة 3.6 أضعاف عدد الرموز التي يعالجها GPT-4o-mini بنفس التكلفة. يحافظ النموذج على قدرات تنافسية في السياقات القصيرة، مماثلة لـ GPT-4o-mini. وهو متاح عبر Alibaba Cloud Model Studio API وHuggingFace Demo وModelScope Demo.