LFM2.5-Enkooderit: Nopea pitkäkontekstinen CPU-päätely

Liquid AI ilmoitti LFM2.5-Encoder-mallien julkaisusta. Nämä kaksi yleiskäyttöistä kaksisuuntaista kooderimallia (230 miljoonaa ja 350 miljoonaa parametria) on alustettu LFM2.5-dekooderirungoista. Ne on esikoulutettu maskatulla kieliobjektiivilla (30% maskaus) kahdessa vaiheessa: lyhyt konteksti (1 024 tokenia) suurella verkkokorpuksella ja pitkä konteksti (8 192 tokenia) koko datasekoituksella. Vertailuissa 350 miljoonan parametrin malli sijoittuu neljänneksi 14 mallin joukossa, päihittäen jopa 3,5 miljardin parametrin malleja, kun taas 230 miljoonan parametrin malli ylittää ModernBERT-basen ja kaikki EuroBERT-mallit. Suorituskykytesteissä LFM2.5-Encoder-230M on nopein suorittimella (CPU) kaikilla sekvenssipituuksilla; 8 192 tokenin syötteellä se suorittaa eteenpäinlaskun noin 28 sekunnissa verrattuna ModernBERT-basen noin 90 sekuntiin (3,7 kertaa nopeampi). Grafiikkasuorittimella (GPU) kooderit ovat nopeimpia yli noin 2 000 tokenin syötteillä. Mallit ovat avoimia Hugging Facessa ja tukevat hienosäätöä luokitteluun, token-tason tehtäviin ja hakuun. Esittelyjä ovat muun muassa nollanäyteinen reititys, käytäntöjen tarkistus, oikeinkirjoitus, henkilötietojen tunnistus ja maskiperustainen diffuusioteksin luonti.