LFM2.5-2.6B: Mô hình ngôn ngữ nhỏ mới dành cho tác vụ trên thiết bị

Liquid AI đã giới thiệu LFM2.5-2.6B, một mô hình 2,6 tỷ tham số được thiết kế cho các tác vụ tác tử ở biên. Được tiền huấn luyện trên khoảng 34 nghìn tỷ token với cửa sổ ngữ cảnh 128K, mô hình đã trải qua quá trình hậu huấn luyện trong bốn giai đoạn: tinh chỉnh có giám sát, chuyên môn hóa giáo viên, chưng cất đa miền theo chính sách, và học tăng cường tác tử trong môi trường tác tử thực. Đánh giá hiệu năng cho thấy mô hình cạnh tranh với các mô hình lớn hơn đáng kể, vượt trội trong việc tuân theo chỉ dẫn và sử dụng công cụ, trong khi các mô hình lớn hơn vẫn giữ lợi thế trong các tác vụ lập trình. Mô hình đạt tốc độ suy luận 220 token mỗi giây trên Apple M5 Max và 113 token mỗi giây trên CPU AMD Ryzen, và thậm chí có thể chạy trên điện thoại với tốc độ 30 token mỗi giây. Hỗ trợ có sẵn ngay từ ngày đầu trong llama.cpp, MLX, vLLM, SGLang và ONNX. LFM2.5-2.6B và biến thể cơ sở của nó có sẵn trên Hugging Face.