Liquid AI veröffentlicht Open-Weight bidirektionale Encoder LFM2.5-Encoder-230M und 350M

Liquid AI hat zwei quelloffene bidirektionale Encoder mit offenen Gewichten veröffentlicht, den LFM2.5-Encoder-230M und den LFM2.5-Encoder-350M, die auf dem hybriden LFM2-Backbone basieren. Beide unterstützen einen Kontext von 8.192 Token. Sie wurden von den LFM2.5-Decoder-Backbones konvertiert, indem die kausale Aufmerksamkeit durch eine bidirektionale ersetzt, kurze Faltungen nicht-kausal gemacht und mit einer Objective aus 30 % maskiertem Sprachmodell trainiert wurden. Das Training erfolgte in zwei Phasen: allgemeine Sprachkompetenz bei 1.024 Token, dann Kontexterweiterung auf 8.192 Token. Das 350M-Modell erreichte einen Mittelwert von 81,02 über 17 Aufgaben und belegte den vierten Platz unter 14 Modellen, hinter XLM-R XL (3,5B), ModernBERT-large (395M) und XLM-R large (560M). Das 230M-Modell erreichte 79,29 und übertraf damit ModernBERT-base sowie alle EuroBERT-Modelle. Bei 8K Token auf einer CPU führt das 230M-Modell einen Forward Pass in etwa 28 Sekunden durch, während ModernBERT-base dafür über 90 Sekunden benötigt. Die Encoder sind für Edge-Geräte, regulierte On-Premise-Systeme und Pipelines mit hohem Durchsatz gedacht. Sie werden über transformers mit trust_remote_code=True geladen und erfordern eine Feinabstimmung. Liquid AI hat außerdem fünf reine CPU-Demos auf Hugging Face Spaces bereitgestellt.