Liquid AI выпускает двунаправленные энкодеры с открытыми весами LFM2.5-Encoder-230M и 350M
Liquid AI
Компания Liquid AI представила два двунаправленных энкодера с открытыми весами: LFM2.5-Encoder-230M и 350M, построенные на гибридной основе LFM2 с контекстом в 8 192 токена. Модель на 350M занимает четвертое место среди 14 моделей по 17 задачам, превосходя более крупные модели, такие как XLM-R XL. Оба энкодера оптимизированы для развертывания на CPU, при этом модель 230M значительно быстрее ModernBERT-base при контексте 8K.
Компания Liquid AI выпустила две открытые двунаправленные модели-энкодеры с открытыми весами — LFM2.5-Encoder-230M и LFM2.5-Encoder-350M, построенные на гибридной архитектуре LFM2. Обе модели поддерживают контекст длиной до 8 192 токенов. Они преобразованы из декодерных архитектур LFM2.5 путём замены каузального внимания на двунаправленное, придания коротким свёрткам некаузального характера и
Показать ещё ↓
Источник: MarkTechPost —
оригинал