LFM2.5-인코더: 빠른 롱 컨텍스트 CPU 추론

Liquid AI가 LFM2.5-Encoders를 발표했습니다. 이는 LFM2.5 디코더 백본에서 초기화된 두 개의 범용 양방향 인코더 모델(파라미터 2억 3천만 개, 3억 5천만 개)입니다. 이 모델들은 두 단계에 걸쳐 마스크 언어 목적(30% 마스킹)으로 사전 학습되었습니다: 대규모 웹 코퍼스에서 짧은 컨텍스트(1,024 토큰) 학습 후 전체 데이터 혼합에서 긴 컨텍스트 적응(8,192 토큰) 학습입니다. 벤치마크에서 3억 5천만 파라미터 모델은 14개 모델 중 4위를 차지하며 최대 35억 파라미터 규모의 더 큰 모델을 능가했고, 2억 3천만 파라미터 모델은 ModernBERT-base와 모든 EuroBERT 모델을 앞질렀습니다. 추론 속도 테스트에서 LFM2.5-Encoder-230M은 모든 시퀀스 길이에서 CPU 상 가장 빠른 속도를 보였으며, 8,192 토큰에서 순방향 전파를 약 28초에 처리한 반면 ModernBERT-base는 약 90초가 소요되어 3.7배 더 빨랐습니다. GPU에서는 입력이 약 2,000 토큰 이상일 때 인코더가 선두를 차지했습니다. 이 모델들은 Hugging Face에서 오픈 웨이트로 제공되며 분류, 토큰 수준 작업, 검색을 위한 파인튜닝을 지원합니다. 데모로는 제로샷 프롬프트 라우팅, 정책 린팅, 맞춤법 검사, 개인 식별 정보(PII) 탐지, 마스크 확산 텍스트 생성 등이 포함됩니다.