LFM2.5-2.6B: een nieuw klein taalmodel voor agents op apparaten
Liquid AI
Liquid AI heeft LFM2.5-2.6B uitgebracht, een compact model met 2,6 miljard parameters, geoptimaliseerd voor agentische taken met efficiënte implementatie op apparaten. Het concurreert met modellen tot vier keer groter op benchmarks voor agentische taken, het volgen van instructies en het gebruik van tools, en biedt hoge inferentiesnelheden op zowel CPU als GPU.
Liquid AI heeft LFM2.5-2.6B geïntroduceerd, een model met 2,6 miljard parameters dat is ontworpen voor agentachtige taken aan de rand van het netwerk. Het model is vooraf getraind op ongeveer 34 biljoen tokens met een contextvenster van 128K en onderging een post-training in vier fasen: gesuperviseerde fine-tuning, leraarspecialisatie, multi-domein on-policy distillatie en agentische reinforcement learning binnen echte agentharnessen. Benchmarkresultaten tonen aan dat het concurreert met aanzienlijk grotere modellen, uitblinkt in instructievolging en toolgebruik, terwijl grotere modellen een voorsprong behouden bij codeertaken. Het model bereikt inferentiesnelheden van 220 tokens per seconde op een Apple M5 Max en 113 tokens per seconde op een AMD Ryzen CPU, en kan zelfs draaien op een telefoon met 30 tokens per seconde. Ondersteuning is beschikbaar vanaf dag één in llama.cpp, MLX, vLLM, SGLang en ONNX. LFM2.5-2.6B en de basisvariant zijn beschikbaar op Hugging Face.
Bron: Hugging Face blog —
origineel