LFM2.5-Encoders: Schnelle CPU-Inferenz mit langem Kontext

Liquid AI hat die Veröffentlichung von LFM2.5-Encoders angekündigt, zwei bidirektionale bidirektionale Encoder-Modelle (230 Millionen und 350 Millionen Parameter), die aus den LFM2.5-Decoder-Backbones initialisiert wurden. Sie wurden mit einem maskierten Sprachziel (30 % Maskierung) in zwei Phasen vortrainiert: Kurzkontext (1.024 Tokens) auf einem großen Web-Korpus und Langkontext-Anpassung (8.192 Tokens) auf einer vollständigen Datenmischung. In Benchmarks belegt das 350-Millionen-Modell den vierten Platz unter 14 Modellen und schlägt dabei größere Modelle mit bis zu 3,5 Milliarden Parametern, während das 230-Millionen-Modell ModernBERT-base und alle EuroBERT-Modelle übertrifft. Geschwindigkeitstests zeigen, dass LFM2.5-Encoder-230M auf der CPU bei allen Sequenzlängen am schnellsten ist; bei 8.192 Tokens verarbeitet es einen Vorwärtsdurchlauf in etwa 28 Sekunden im Vergleich zu etwa 90 Sekunden für ModernBERT-base (3,7-mal schneller). Auf der GPU führen die Encoder bei Eingaben über etwa 2.000 Tokens. Die Modelle sind auf Hugging Face mit offenen Gewichten verfügbar und unterstützen Feintuning für Klassifikation, Token-Level-Aufgaben und Retrieval. Demos umfassen Zero-Shot-Prompt-Routing, Policy-Linting, Rechtschreibprüfung, PII-Erkennung und maskierte Diffusions-Textgenerierung.