LFM2.5-Encoder: Inferensi CPU Konteks Panjang yang Cepat

Liquid AI mengumumkan rilis LFM2.5-Encoders, dua model encoder bidirectional tujuan umum (parameter 230M dan 350M) yang diinisialisasi dari backbone decoder LFM2.5. Model-model ini dilatih sebelumnya dengan objective masked-language (masking 30%) melalui dua tahap: konteks pendek (1.024 token) pada korpus web besar dan adaptasi konteks panjang (8.192 token) pada campuran data penuh. Pada tolok ukur, model 350M menempati peringkat keempat di antara 14 model, mengalahkan model yang lebih besar hingga 3,5 miliar, sementara model 230M mengungguli ModernBERT-base dan semua model EuroBERT. Uji kecepatan inferensi menunjukkan LFM2.5-Encoder-230M adalah yang tercepat di CPU untuk semua panjang urutan; pada 8.192 token, ia memproses forward pass dalam ~28 detik dibandingkan ~90 detik untuk ModernBERT-base (3,7 kali lebih cepat). Di GPU, encoder memimpin untuk input di atas ~2.000 token. Model-model ini bersifat open-weight di Hugging Face dan mendukung fine-tuning untuk klasifikasi, tugas level token, dan pengambilan. Demo mencakup perutean prompt zero-shot, policy linting, pemeriksaan ejaan, deteksi PII (pii), dan pembuatan teks masked-diffusion.