LFM2.5-Encoders：高速な長文脈CPU推論

Liquid AIは、LFM2.5デコーダーベースモデルから初期化された、汎用双方向エンコーダーモデル（パラメータ数230Mおよび350M）であるLFM2.5-Encodersのリリースを発表した。これらのモデルは、マスク言語目標（30%マスキング）を用いて2段階で事前学習されている。第1段階は大規模ウェブコーパスでの短コンテキスト（1,024トークン）、第2段階は全データミックスでの長コンテキスト適応（8,192トークン）である。ベンチマークでは、350Mモデルが14モデル中4位にランクインし、最大3.5Bの大規模モデルを上回った。一方、230MモデルはModernBERT-baseおよび全EuroBERTモデルを凌駕した。推論速度テストでは、LFM2.5-Encoder-230MがCPUにおいて全シーケンス長で最速であり、8,192トークンではフォワードパスが約28秒（ModernBERT-baseの約90秒に対し3.7倍高速）で処理される。GPUでは、約2,000トークン以上の入力でエンコーダーがリードする。これらのモデルはHugging Face上でオープンウェイトとして公開され、分類、トークンレベルのタスク、検索のためのファインチューニングをサポートする。デモには、ゼロショットプロンプトルーティング、ポリシーリンティング、スペルチェック、PII検出、マスク拡散テキスト生成が含まれる。