LFM2.5-2.6B: un nuevo modelo de lenguaje pequeño para agentes en dispositivos

Liquid AI presentó LFM2.5-2.6B, un modelo de 2.6 mil millones de parámetros diseñado para tareas de agente en el borde. Preentrenado con alrededor de 34 billones de tokens y una ventana de contexto de 128K, se sometió a un post-entrenamiento en cuatro etapas: ajuste fino supervisado, especialización del profesor, destilación on-policy multi-dominio y aprendizaje por refuerzo de agente dentro de arneses de agente reales. Las evaluaciones muestran que compite con modelos notablemente más grandes, sobresaliendo en seguimiento de instrucciones y uso de herramientas, mientras que los modelos más grandes mantienen una ventaja en tareas de codificación. El modelo alcanza velocidades de inferencia de 220 tokens por segundo en un Apple M5 Max y 113 tokens por segundo en una CPU AMD Ryzen, e incluso puede ejecutarse en un teléfono a 30 tokens por segundo. El soporte está disponible desde el primer día en llama.cpp, MLX, vLLM, SGLang y ONNX. LFM2.5-2.6B y su variante base están disponibles en Hugging Face.