Liquid AI Merilis Encoder Dwi-Arah Open-Weight LFM2.5-Encoder-230M dan 350M

Liquid AI merilis dua encoder bidirectional berbobot terbuka, LFM2.5-Encoder-230M dan LFM2.5-Encoder-350M, yang dibangun di atas kerangka hybrid LFM2. Keduanya mendukung konteks 8.192 token. Encoder ini dikonversi dari backbone decoder LFM2.5 dengan mengganti attention kausal menjadi bidirectional, membuat konvolusi pendek menjadi non-kausal, dan dilatih dengan objective masked language modeling sebesar 30%. Pelatihan terdiri dari dua tahap: kompetensi bahasa umum pada 1.024 token, kemudian perluasan konteks hingga 8.192 token. Model 350M mencapai rata-rata 81,02 pada 17 tugas, menempati peringkat keempat dari 14 model, di bawah XLM-R XL (3,5 miliar), ModernBERT-large (395 juta), dan XLM-R large (560 juta). Model 230M mencapai 79,29, mengungguli ModernBERT-base dan semua model EuroBERT. Pada CPU dengan 8 ribu token, model 230M menjalankan satu forward pass dalam waktu sekitar 28 detik, dibandingkan lebih dari 90 detik untuk ModernBERT-base. Encoder ini ditujukan untuk perangkat edge, sistem on-premise yang diatur, dan pipeline volume tinggi. Encoder dimuat melalui transformers dengan trust_remote_code=True dan memerlukan fine-tuning. Liquid AI juga menyediakan lima demo khusus CPU di Hugging Face Spaces.