LFM2.5-2.6B: Cihaz Üzeri Ajanlar İçin Yeni Bir Küçük Dil Modeli

Liquid AI, uçta ajan görevleri için tasarlanmış 2,6 milyar parametreli bir model olan LFM2.5-2.6B'yi tanıttı. Yaklaşık 34 trilyon token üzerinde ön eğitim yapılan ve 128K bağlam penceresine sahip olan model, dört aşamalı bir son eğitim sürecinden geçti: denetimli ince ayar, öğretmen uzmanlaşması, çok alanlı politika üzerinde damıtma ve gerçek ajan donanımları içinde ajanik pekiştirmeli öğrenme. Kıyaslama testleri, modelin belirgin şekilde daha büyük modellerle rekabet ettiğini, talimat takibi ve araç kullanımında üstün performans gösterdiğini, ancak daha büyük modellerin kodlama görevlerinde liderliğini sürdürdüğünü gösteriyor. Model, Apple M5 Max üzerinde saniyede 220 token, AMD Ryzen CPU üzerinde saniyede 113 token çıkarım hızına ulaşıyor ve hatta bir telefonda saniyede 30 token ile çalışabiliyor. Destek, ilk günden itibaren llama.cpp, MLX, vLLM, SGLang ve ONNX'te mevcut. LFM2.5-2.6B ve temel varyantı Hugging Face üzerinde sunuldu.