Liquid AI تطلق مشفرات ثنائية الاتجاه مفتوحة الأوزان LFM2.5-Encoder-230M و350M

أعلنت شركة Liquid AI عن إصدار اثنين من المشفرات ثنائية الاتجاه مفتوحة الأوزان، وهما LFM2.5-Encoder-230M و LFM2.5-Encoder-350M، استنادًا إلى البنية الهجينة LFM2. يدعم كلا المشفرين سياقًا يصل إلى 8192 رمزًا. تم تحويلهما من البنية الخلفية لفك التشفير LFM2.5 عن طريق استبدال الانتباه السببي بانتباه ثنائي الاتجاه، وجعل التلافيف القصيرة غير سببية، وتدريبهما باستخدام هدف نمذجة لغة مقنعة بنسبة 30%. اشتمل التدريب على مرحلتين: الكفاءة اللغوية العامة عند 1024 رمزًا، ثم تمديد السياق إلى 8192 رمزًا. حقق نموذج 350M متوسطًا قدره 81.02 في 17 مهمة، محتلًا المرتبة الرابعة بين 14 نموذجًا، خلف نماذج XLM-R XL (3.5B) و ModernBERT-large (395M) و XLM-R large (560M). بينما حقق نموذج 230M متوسطًا قدره 79.29، متغلبًا على نموذج ModernBERT-base وجميع نماذج EuroBERT. عند 8 كيلو بايت من الرموز على وحدة المعالجة المركزية، يقوم نموذج 230M بإجراء تمرير أمامي واحد في حوالي 28 ثانية مقابل أكثر من 90 ثانية لنموذج ModernBERT-base. تُصمم هذه المشفرات للأجهزة الطرفية، والأنظمة المحلية المنظمة، وخطوط الأنابيب عالية الحجم. يتم تحميلها من خلال مكتبة transformers مع تعيين trust_remote_code=True وتتطلب ضبطًا دقيقًا. كما وفرت Liquid AI خمسة عروض توضيحية تعمل على وحدة المعالجة المركزية فقط على منصة Hugging Face Spaces.