BAAI

Como reduzi um embedder russo para 24 milhões de parâmetros — e quase o estraguei com um dígito

Um engenheiro treinou um retriever denso russo leve, chamado STRIZH, com 24,4 milhões de parâmetros e 4 camadas, para RAG local em GPU compartilhada. Um único número errado na configuração do tokenizador (model_max_length=256) fez o Recall@10 cair de 0,589 para 0,448, quase invalidando o trabalho. O modelo destina-se a recuperação rápida de primeira etapa em AMD Strix Halo, competindo com o bge-m3 em cenários de co-residência.

DeepPavlov BAAI Microsoft