علي بابا تصدر كود كيوين 2.5-1M مفتوح المصدر مع دعم سياق يصل إلى مليون رمز

أعلنت Alibaba Qwen عن إصدار النماذج مفتوحة المصدر Qwen2.5-7B-Instruct-1M و Qwen2.5-14B-Instruct-1M، القادرة على معالجة سياق يصل إلى مليون رمز. لنشر هذه النماذج، قامت الشركة بفتح إطار عمل الاستدلال بالكامل استنادًا إلى vLLM (Very Large Language Model)، والذي يستخدم الانتباه المتناثر (sparse attention) ويسرّع معالجة مليون رمز بمقدار 3 إلى 7 مرات. تم تدريب النماذج بشكل تدريجي: أولاً على متواليات يصل طولها إلى 256 ألف رمز، ثم باستخدام استقراء الطول (Dual Chunk Attention) تم توسيعها إلى مليون رمز. في اختبارات استرجاع كلمة المرور (Passkey Retrieval) والمهام المعقدة (RULER، LV-Eval، LongBench)، تفوقت النماذج بشكل كبير على النسخ ذات 128 ألف رمز و GPT-4o-mini. للاستدلال، يُوصى باستخدام وحدة معالجة رسومية (Graphics Processing Unit GPU) بمعمارية Ampere أو Hopper، بسعة ذاكرة وصول عشوائي فيديوية (Video Random Access Memory VRAM) لا تقل عن 120 جيجابايت لنموذج 7B، و 320 جيجابايت لنموذج 14B. كما تم إطلاق Qwen Chat، وهو مساعد ذكاء اصطناعي يدعم السياق الطويل.