Как я уменьшил русский эмбеддер до 24 миллионов параметров — и чуть не испортил его одной цифрой
Инженер обучил лёгкий русский плотный ретривер STRIZH с 24,4 млн параметров и 4 слоями для локального RAG на общей GPU. Одно неверное число в конфигурации токенизатора (model_max_length=256) снизило Recall@10 с 0.589 до 0.448, почти сведя на нет всю работу. Модель предназначена для быстрого первичного поиска на AMD Strix Halo и конкурирует с bge-m3 в сценариях совместного размещения.
Автор разработал небольшой русский плотный ретривер под названием STRIZH для локальной RAG-системы, работающей на узле AMD Strix Halo с 128 ГБ унифицированной памяти. Встроенный графический процессор этого узла используется совместно генеративной LLM, эмбеддером, реранкером и периодической переиндексацией, поэтому для снижения конкуренции за вычислительные ресурсы требуется легковесный ретривер.
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал