Liquid AI lanza codificadores bidireccionales de pesos abiertos LFM2.5-Encoder-230M y 350M

Liquid AI ha lanzado dos codificadores bidireccionales de peso abierto, LFM2.5-Encoder-230M y LFM2.5-Encoder-350M, basados en el backbone híbrido LFM2. Ambos admiten un contexto de 8192 tokens. Se convierten a partir de backbones decodificadores LFM2.5 reemplazando la atención causal por bidireccional, haciendo que las convoluciones cortas sean no causales, y entrenando con un objetivo de modelado de lenguaje enmascarado del 30%. El entrenamiento tuvo dos etapas: competencia general del lenguaje con 1024 tokens y luego extensión del contexto a 8192 tokens. El modelo de 350M logró una media de 81,02 en 17 tareas, ubicándose en el cuarto lugar entre 14 modelos, por detrás de XLM-R XL (3,5 mil millones), ModernBERT-large (395 millones) y XLM-R large (560 millones). El modelo de 230M alcanzó 79,29, superando a ModernBERT-base y a todos los modelos EuroBERT. Con 8K tokens en CPU, el modelo de 230M ejecuta una pasada hacia adelante en aproximadamente 28 segundos frente a más de 90 segundos de ModernBERT-base. Los codificadores están destinados a dispositivos periféricos, sistemas locales regulados y canalizaciones de alto volumen. Se cargan a través de transformers con trust_remote_code=True y requieren ajuste fino. Liquid AI también proporcionó cinco demos solo en CPU en Hugging Face Spaces.