مشفرات LFM2.5: استدلال سريع بالسياقات الطويلة على وحدة المعالجة المركزية
Liquid AI
أصدرت Liquid AI مشفرات LFM2.5، وهي نماذج مشفر ثنائية الاتجاه مبنية من مفككات LFM2.5. تدعم سياقًا يبلغ 8,192 رمزًا، وتحقق تسريعًا بمقدار 3.7 مرة مقارنة بـ ModernBERT على وحدة المعالجة المركزية في السياقات الطويلة، وتتفوق في مهام GLUE وSuperGLUE ومتعددة اللغات.
أعلنت شركة Liquid AI عن إطلاق نماذج LFM2.5-Encoders، وهي نموذجان ثنائيا الاتجاه للأغراض العامة (بـ 230 مليون و350 مليون معلمة) تمت تهيئتهما من الهياكل الأساسية لفك التشفير LFM2.5. تم تدريبهما مسبقًا باستخدام هدف لغة مقنع (بنسبة إخفاء 30%) على مرحلتين: سياق قصير (1,024 رمزًا) على مجموعة كبيرة من بيانات الويب، وتكييف سياق طويل (8,192 رمزًا) على مزيج البيانات الكامل. في المقاييس المعيارية، يحتل النموذج بـ 350 مليون معلمة المرتبة الرابعة بين 14 نموذجًا، متغلبًا على نماذج أكبر حتى 3.5 مليار معلمة، بينما يتفوق النموذج بـ 230 مليون معلمة على ModernBERT-base وجميع نماذج EuroBERT. تظهر اختبارات سرعة الاستدلال أن LFM2.5-Encoder-230M هو الأسرع على وحدة المعالجة المركزية (CPU) عبر جميع أطوال التسلسل؛ عند 8,192 رمزًا، يعالج تمريرة أمامية في حوالي 28 ثانية مقابل حوالي 90 ثانية لـ ModernBERT-base (أسرع بـ 3.7 مرات). على وحدة معالجة الرسومات (GPU)، تتصدر النماذج للمدخلات التي تزيد عن حوالي 2,000 رمز. النماذج مفتوحة الأوزان على Hugging Face وتدعم الضبط الدقيق للتصنيف، ومهام مستوى الرمز، والاسترجاع. تشمل العروض التوضيحية توجيه المطالبات بدون تدريب مسبق، وفحص السياسات، والتدقيق الإملائي، وكشف معلومات التعريف الشخصية (PII)، وتوليد النص بالانتشار المقنع.
المصدر: Hugging Face blog —
الأصلي
