BAAI

Как я уменьшил русский эмбеддер до 24 миллионов параметров — и чуть не испортил его одной цифрой

Инженер обучил лёгкий русский плотный ретривер STRIZH с 24,4 млн параметров и 4 слоями для локального RAG на общей GPU. Одно неверное число в конфигурации токенизатора (model_max_length=256) снизило Recall@10 с 0.589 до 0.448, почти сведя на нет всю работу. Модель предназначена для быстрого первичного поиска на AMD Strix Halo и конкурирует с bge-m3 в сценариях совместного размещения.