लिक्विड एआई ने ओपन-वेट बिडायरेक्शनल एनकोडर LFM2.5-Encoder-230M और 350M जारी किए

Liquid AI ने LFM2.5-Encoder-230M और LFM2.5-Encoder-350M नामक दो ओपन-वेट बिडायरेक्शनल एन्कोडर जारी किए हैं, जो LFM2 हाइब्रिड बैकबोन पर आधारित हैं। दोनों 8,192-टोकन संदर्भ का समर्थन करते हैं। इन्हें LFM2.5 डिकोडर बैकबोन से कॉजुअल अटेंशन को बिडायरेक्शनल से बदलकर, शॉर्ट कन्वोल्यूशन को नॉन-कॉजुअल बनाकर और 30% मास्क्ड लैंग्वेज मॉडलिंग उद्देश्य के साथ प्रशिक्षित करके रूपांतरित किया गया है। प्रशिक्षण के दो चरण थे: पहले 1,024 टोकन पर सामान्य भाषा क्षमता, फिर संदर्भ को 8,192 टोकन तक विस्तारित करना। 350M मॉडल ने 17 कार्यों के औसत में 81.02 प्राप्त किया, जो XLM-R XL (3.5B), ModernBERT-large (395M) और XLM-R large (560M) के बाद 14 मॉडलों में चौथे स्थान पर है। 230M मॉडल ने 79.29 प्राप्त किया, जिसने ModernBERT-base और सभी EuroBERT मॉडलों को पीछे छोड़ दिया। CPU पर 8K टोकन पर, 230M मॉडल एक फॉरवर्ड पास लगभग 28 सेकंड में चलाता है, जबकि ModernBERT-base को 90 सेकंड से अधिक लगता है। एन्कोडर एज डिवाइसों, विनियमित ऑन-प्रिमाइसेस सिस्टम और उच्च-मात्रा पाइपलाइनों के लिए अभिप्रेत हैं। वे transformers के साथ trust_remote_code=True सेट करके लोड होते हैं और इन्हें फाइन-ट्यूनिंग की आवश्यकता होती है। Liquid AI ने Hugging Face Spaces पर पाँच केवल-CPU डेमो भी प्रदान किए हैं।