Liquid AI Lança Codificadores Bidirecionais de Peso Aberto LFM2.5-Encoder-230M e 350M

A Liquid AI lançou dois codificadores bidirecionais de pesos abertos, LFM2.5-Encoder-230M e LFM2.5-Encoder-350M, baseados na espinha dorsal híbrida LFM2. Ambos suportam contexto de 8.192 tokens. Eles são convertidos das espinhas dorsais do decodificador LFM2.5, substituindo a atenção causal por bidirecional, tornando as convoluções curtas não causais e treinando com um objetivo de modelagem de linguagem mascarada de 30%. O treinamento teve dois estágios: competência geral em linguagem com 1.024 tokens e, em seguida, extensão de contexto para 8.192 tokens. O modelo de 350M alcançou uma média de 81,02 em 17 tarefas, ficando em quarto lugar entre 14 modelos, atrás do XLM-R XL (3,5B), ModernBERT-large (395M) e XLM-R large (560M). O modelo de 230M alcançou 79,29, superando o ModernBERT-base e todos os modelos EuroBERT. Com 8K tokens na CPU, o modelo de 230M executa uma passagem direta em aproximadamente 28 segundos, contra mais de 90 segundos do ModernBERT-base. Os codificadores são destinados a dispositivos de borda, sistemas locais regulamentados e pipelines de alto volume. Eles são carregados por meio de transformers com trust_remote_code=True e exigem ajuste fino. A Liquid AI também forneceu cinco demonstrações apenas em CPU no Hugging Face Spaces.