LFM2.5-2.6B: Ein neues kleines Sprachmodell für Agenten auf dem Gerät

Liquid AI hat LFM2.5-2.6B vorgestellt, ein Modell mit 2,6 Milliarden Parametern, das für agentische Aufgaben am Edge entwickelt wurde. Vortrainiert auf etwa 34 Billionen Tokens mit einem Kontextfenster von 128K, durchlief es ein Post-Training in vier Phasen: überwachtes Feintuning, Lehrerspezialisierung, multidomänen On-Policy-Destillation und agentisches Reinforcement Learning in realen Agenten-Umgebungen. Benchmarks zeigen, dass es mit deutlich größeren Modellen konkurriert und bei der Befolgung von Anweisungen sowie der Nutzung von Tools hervorsticht, während größere Modelle bei Programmieraufgaben weiterhin die Nase vorn haben. Das Modell erreicht Inferenzgeschwindigkeiten von 220 Tokens pro Sekunde auf einem Apple M5 Max und 113 Tokens pro Sekunde auf einer AMD-Ryzen-CPU und kann sogar auf einem Telefon mit 30 Tokens pro Sekunde laufen. Unterstützung ist ab dem ersten Tag in llama.cpp, MLX, vLLM, SGLang und ONNX verfügbar. LFM2.5-2.6B und seine Basisvariante sind auf Hugging Face verfügbar.