LFM2.5-Encoders：快速长上下文CPU推理

Liquid AI 发布了 LFM2.5-Encoders，这是两个通用双向编码器模型（参数规模分别为 230M 和 350M），基于 LFM2.5 解码器骨干网络初始化。它们采用掩码语言目标（30% 掩码率）进行预训练，分为两个阶段：短上下文（1024 个 token）在大型网络语料库上训练，以及长上下文适应（8192 个 token）在完整数据混合上训练。在基准测试中，350M 模型在 14 个模型中排名第四，击败了高达 3.5B 参数的更大模型；而 230M 模型则优于 ModernBERT-base 和所有 EuroBERT 模型。推理速度测试显示，LFM2.5-Encoder-230M 在所有序列长度下的 CPU 上速度最快；在 8192 个 token 时，其前向传递耗时约 28 秒，而 ModernBERT-base 约 90 秒（快 3.7 倍）。在 GPU 上，该编码器在输入超过约 2000 个 token 时领先。这些模型在 Hugging Face 上开放权重，支持用于分类、token 级任务和检索的微调。演示包括零样本提示路由、策略检查、拼写检查、PII 检测和掩码扩散文本生成。