리퀴드 AI, 오픈웨이트 양방향 인코더 LFM2.5-Encoder-230M 및 350M 출시

Liquid AI가 LFM2.5-Encoder-230M과 LFM2.5-Encoder-350M이라는 두 개의 오픈 가중치 양방향 인코더를 출시했습니다. 이 모델들은 LFM2 하이브리드 백본을 기반으로 하며, 둘 다 8,192개의 토큰 컨텍스트를 지원합니다. 이들은 LFM2.5 디코더 백본을 변환하여 만들어졌는데, 인과적 어텐션을 양방향으로 대체하고, 짧은 컨볼루션을 비인과적으로 만들었으며, 30% 마스크 언어 모델링 목표로 학습되었습니다. 학습은 두 단계로 진행되었습니다: 먼저 1,024개 토큰에서 일반 언어 능력을 학습한 후, 컨텍스트를 8,192개 토큰으로 확장했습니다. 350M 모델은 17개 작업 평균 81.02점을 기록하여 14개 모델 중 4위를 차지했으며, XLM-R XL(3.5B), ModernBERT-large(395M), XLM-R large(560M)에 이어 순위를 올렸습니다. 230M 모델은 79.29점을 기록하여 ModernBERT-base와 모든 EuroBERT 모델을 능가했습니다. CPU에서 8K 토큰 기준으로 230M 모델은 한 번의 순방향 패스를 약 28초 만에 실행하는 반면, ModernBERT-base는 90초 이상이 소요됩니다. 이 인코더는 엣지 디바이스, 규제된 온프레미스 시스템, 대용량 파이프라인을 위해 설계되었습니다. transformers를 통해 trust_remote_code=True를 설정하여 불러오며, 파인튜닝이 필요합니다. Liquid AI는 또한 Hugging Face Spaces에 CPU 전용 데모 5개를 제공했습니다.