DeepPavlov

Comment j'ai réduit un encodeur russe à 24 millions de paramètres — et failli tout gâcher avec un seul chiffre

Un ingénieur a entraîné un récupérateur dense russe léger, STRIZH, avec 24,4 millions de paramètres et 4 couches, pour un RAG local sur GPU partagé. Un seul nombre erroné dans la configuration du tokeniseur (model_max_length=256) a fait chuter le Recall@10 de 0,589 à 0,448, annulant presque le travail. Le modèle est destiné à une récupération rapide en première étape sur AMD Strix Halo, en concurrence avec bge-m3 dans des scénarios de co-résidence.

DeepPavlov BAAI Microsoft