BAAI

Wie ich einen russischen Embedder auf 24 Millionen Parameter schrumpfte – und mit einer Ziffer fast ruinierte

Ein Ingenieur trainierte einen leichtgewichtigen russischen Dense Retriever, STRIZH, mit 24,4 Millionen Parametern und 4 Schichten, für lokale RAG auf einer geteilten GPU. Eine einzige falsche Zahl in der Tokenizer-Konfiguration (model_max_length=256) ließ Recall@10 von 0,589 auf 0,448 fallen und hätte die Arbeit fast zunichte gemacht. Das Modell ist für schnelle Erstabfrage auf AMD Strix Halo gedacht und konkurriert in Co-Residenz-Szenarien mit bge-m3.

DeepPavlov BAAI Microsoft