Liquid AI julkaisee avoimen painon kaksisuuntaiset koodistot LFM2.5-Encoder-230M ja 350M

Liquid AI julkaisi kaksi avoimilla painoilla varustettua kaksisuuntaista koodainta, LFM2.5-Encoder-230M ja LFM2.5-Encoder-350M, jotka perustuvat LFM2-hybridipohjaan. Molemmat tukevat 8 192 tokenin kontekstia. Ne on muunnettu LFM2.5-dekoodauspohjista korvaamalla kausaalinen huomio kaksisuuntaisella, tekemällä lyhyistä konvoluutioista ei-kausaalisia ja kouluttamalla 30 %:n peitetyn kielen mallinnuksen tavoitteella. Koulutus oli kaksivaiheinen: ensin yleinen kielitaito 1 024 tokenilla ja sitten kontekstin laajennus 8 192 tokeniin. 350M-malli saavutti 17 tehtävän keskiarvon 81,02 sijoittuen neljänneksi 14 mallin joukossa XLM-R XL:n (3,5B), ModernBERT-large:n (395M) ja XLM-R large:n (560M) jälkeen. 230M-malli saavutti 79,29, päihittäen ModernBERT-base:n ja kaikki EuroBERT-mallit. Suorittimella 8 000 tokenilla 230M-malli suorittaa yhden eteenpäinlaskun noin 28 sekunnissa, kun ModernBERT-base vaatii yli 90 sekuntia. Koodaimet on tarkoitettu reunalaitteille, säännellyille paikallisjärjestelmille ja suurivolyymisille putkistoille. Ne ladataan transformers-kirjastolla asetuksella trust_remote_code=True ja vaativat hienosäätöä. Liquid AI tarjosi myös viisi suoritinkohtaista demoa Hugging Face Spaces -palvelussa.