LFM2.5-Encoders: быстрый инференс на CPU для длинного контекста
Liquid AI
Компания Liquid AI выпустила LFM2.5-Encoders — двунаправленные модели-энкодеры, созданные на основе декодеров LFM2.5. Они поддерживают контекст до 8192 токенов, обеспечивают ускорение в 3,7 раза по сравнению с ModernBERT на CPU при работе с длинным контекстом и показывают отличные результаты на тестах GLUE, SuperGLUE и многоязычных задачах.
Компания Liquid AI объявила о выпуске LFM2.5-Encoders — двух универсальных двунаправленных моделей-энкодеров (на 230 млн и 350 млн параметров), инициализированных с использованием бэкбонов декодеров LFM2.5. Они предварительно обучены с применением маскированной языковой цели (30% маскирование) в два этапа: на коротком контексте (1024 токена) на большом веб-корпусе и с адаптацией к длинному
Показать ещё ↓
Источник: Hugging Face blog —
оригинал