LFM2.5-2.6B: Um Novo Modelo de Linguagem Compacto para Agentes em Dispositivos

A Liquid AI apresentou o LFM2.5-2.6B, um modelo de 2,6 bilhões de parâmetros projetado para tarefas de agente na borda. Pré-treinado com cerca de 34 trilhões de tokens e uma janela de contexto de 128 mil, passou por pós-treinamento em quatro etapas: ajuste fino supervisionado, especialização do professor, destilação on-policy em múltiplos domínios e aprendizado por reforço de agente em ambientes reais de agente. Os benchmarks mostram que ele compete com modelos notavelmente maiores, destacando-se em seguir instruções e uso de ferramentas, enquanto modelos maiores mantêm uma liderança em tarefas de codificação. O modelo atinge velocidades de inferência de 220 tokens por segundo em um Apple M5 Max e 113 tokens por segundo em uma CPU AMD Ryzen, e pode até rodar em um telefone a 30 tokens por segundo. O suporte está disponível desde o primeiro dia em llama.cpp, MLX, vLLM, SGLang e ONNX. O LFM2.5-2.6B e sua variante base estão disponíveis no Hugging Face.