LFM2.5-2.6B: Model Bahasa Kecil Baru untuk Agen di Perangkat

Liquid AI memperkenalkan LFM2.5-2.6B, sebuah model dengan 2,6 miliar parameter yang dirancang untuk tugas-tugas agen di tepi jaringan. Model ini dilatih sebelumnya pada sekitar 34 triliun token dengan jendela konteks 128K, dan menjalani pasca-pelatihan dalam empat tahap: fine-tuning terawasi, spesialisasi guru, distilasi on-policy multi-domain, dan pembelajaran penguatan agen dalam harness agen yang nyata. Tolok ukur menunjukkan bahwa model ini bersaing dengan model yang jauh lebih besar, unggul dalam mengikuti instruksi dan penggunaan alat, sementara model yang lebih besar tetap unggul dalam tugas pengkodean. Model ini mencapai kecepatan inferensi 220 token per detik pada Apple M5 Max dan 113 token per detik pada CPU AMD Ryzen, dan bahkan dapat berjalan di ponsel dengan kecepatan 30 token per detik. Dukungan tersedia pada hari pertama di llama.cpp, MLX, vLLM, SGLang, dan ONNX. LFM2.5-2.6B dan varian dasarnya tersedia di Hugging Face.