DeepPavlov

Hoe ik een Russische embedder verkleinde tot 24 miljoen parameters — en het bijna verpestte met één cijfer

Een engineer trainde een lichtgewicht Russische dense retriever, STRIZH, met 24,4M parameters en 4 lagen, voor lokale RAG op een gedeelde GPU. Een enkel fout getal in de tokenizerconfiguratie (model_max_length=256) deed Recall@10 dalen van 0,589 naar 0,448, waardoor het werk bijna voor niets was. Het model is bedoeld voor snelle eerste-fase retrieval op AMD Strix Halo, en concurreert met bge-m3 in co-residentie scenario's.

DeepPavlov BAAI Microsoft