LFM2.5-2.6B: 기기 내 에이전트를 위한 새로운 소형 언어 모델

Liquid AI가 에지에서의 에이전트 작업을 위해 설계된 26억 파라미터 모델인 LFM2.5-2.6B를 출시했습니다. 약 34조 토큰으로 사전 학습되었고 컨텍스트 창은 128K이며, 네 단계의 후속 학습(지도 미세 조정, 교사 특화, 다중 도메인 온폴리시 증류, 실제 에이전트 하네스 내 에이전트 강화 학습)을 거쳤습니다. 벤치마킹 결과, 이 모델은 눈에 띄게 더 큰 모델과 경쟁하며 지시 따르기와 도구 사용에서 뛰어난 성능을 보이는 반면, 더 큰 모델은 코딩 작업에서 우위를 유지합니다. 이 모델은 Apple M5 Max에서 초당 220토큰, AMD Ryzen CPU에서 초당 113토큰의 추론 속도를 달성하며, 휴대폰에서도 초당 30토큰으로 실행할 수 있습니다. llama.cpp, MLX, vLLM, SGLang, ONNX에서 첫날부터 지원됩니다. LFM2.5-2.6B 및 기본 변형은 Hugging Face에서 제공됩니다.