LFM2.5-2.6B: Uusi pieni kielimalli laitteen sisäisiin agentteihin
Liquid AI
Liquid AI on julkaissut LFM2.5-2.6B:n, kompaktin 2,6 miljardin parametrin mallin, joka on optimoitu agenttimaisiin tehtäviin tehokkaalla laitteen sisäisellä käyttöönotolla. Se kilpailee jopa neljä kertaa suurempien mallien kanssa agenttimaisissa, ohjeiden noudattamisen ja työkalujen käytön vertailutesteissä, ja tarjoaa korkean päättelynopeuden sekä suorittimella että näytönohjaimella.
Liquid AI esitteli LFM2.5-2.6B:n, 2,6 miljardin parametrin mallin, joka on suunniteltu agenttimaisiin tehtäviin reunalaskennassa. Esikoulutettu noin 34 biljoonalla tokenilla ja 128K:n konteksti-ikkunalla, se kävi läpi jälkikoulutuksen neljässä vaiheessa: ohjattu hienosäätö, opettajan erikoistuminen, monialainen on-policy-tislaus ja agenttimainen vahvistusoppiminen oikeissa agenttivaljasteissa. Vertailuosoitukset osoittavat, että se kilpailee huomattavasti suurempien mallien kanssa, ja se on erinomainen ohjeiden seuraamisessa ja työkalujen käytössä, kun taas suuremmat mallit säilyttävät etumatkan koodaustehtävissä. Malli saavuttaa päättelynopeudet 220 tokenia sekunnissa Apple M5 Maxilla ja 113 tokenia sekunnissa AMD Ryzen -suorittimella, ja se voi jopa toimia puhelimessa 30 tokenin sekuntinopeudella. Tuki on saatavilla ensimmäisenä päivänä llama.cpp:ssä, MLX:ssä, vLLM:ssä, SGLang:ssa ja ONNX:ssä. LFM2.5-2.6B ja sen perusversio ovat saatavilla Hugging Facessa.
Lähde: Hugging Face blog —
Alkuperäinen