أنت بايلينغ تطلق نموذج الاستدلال الهجين الجديد لينغ-3.0-فلاش
أطلقت شركة أنت بايلينغ رسمياً نموذج الاستدلال الهجين الأصلي الجديد لينغ-3.0-فلاش، الذي يتميز بإجمالي 124 مليار معلمة مع تفعيل 5.1 مليار معلمة فقط لكل عملية حسابية. يتفوق النموذج أو يساوي نماذج أكبر منه بحجم 2-3 مرات في مهام الاستدلال، اتباع التعليمات، والسياقات الطويلة، مع تحقيق كفاءة أعلى. النموذج متاح على منصة أوبنروتر لمدة أسبوع مجاني محدود قبل أن يصبح مفتوح المصدر.
في 24 يوليو، أطلقت Ant Bailing نموذج Ling-3.0-Flash بإجمالي 124 مليار معلمة و5.1 مليار معلمة نشطة لكل خطوة، محققًا أداءً مماثلاً لنماذج أكبر بمقدار 2-3 مرات مع تقليل التكاليف الحسابية. صُمم النموذج لتطبيقات الوكلاء الذكية التي تضم أكثر من 10,000 بيئة تفاعل حقيقية، مع تحسين التصحيح الذاتي والتخطيط طويل المدى. يستخدم النموذج بنية انتباه هجينة بنسبة 5:1 بين انتباه خطي من نوع KDA وطبقات MLA، مع ترقية Lightning Attention إلى KDA لتحسين تتبع الحالات. تم تقليل تنشيط الخبراء لكل رمز من 1/32 إلى 1/64، مما يعزز الكفاءة. تشمل التحسينات الهندسية التخزين المؤقت على مستوى المجموعات لتقليل زمن الاستجابة للرمز الأول بنسبة 60-80%، وإطار عمل للتعاون بين وكلاء متعددين لتحقيق الاستقرار.
المصدر: QbitAI 量子位 —
الأصلي