LFM2.5-Encoders: быстрый вывод на CPU с длинным контекстом
Liquid AI
Liquid AI выпустила LFM2.5-Encoders — двунаправленные модели-энкодеры на основе декодеров LFM2.5. Они поддерживают контекст из 8 192 токенов, достигают ускорения в 3,7 раза по сравнению с ModernBERT на CPU при длинном контексте и показывают отличные результаты на GLUE, SuperGLUE и многоязычных задачах.
Компания Liquid AI объявила о выпуске LFM2.5-Encoders — двух универсальных двунаправленных моделей-энкодеров (на 230 млн и 350 млн параметров), инициализированных с использованием бэкбонов декодеров LFM2.5. Они предварительно обучены с применением маскированной языковой цели (30% маскирование) в два этапа: на коротком контексте (1024 токена) на большом веб-корпусе и с адаптацией к длинному
Показать ещё ↓
Источник: Hugging Face blog —
оригинал