DeepPavlov

Rusça bir embedder'ı 24 milyon parametreye nasıl küçülttüm — ve tek bir rakamla neredeyse mahvettim

Bir mühendis, paylaşılan GPU üzerinde yerel RAG için 24.4M parametreli ve 4 katmanlı hafif bir Rusça yoğun retriever olan STRIZH'i eğitti. Tokenizer yapılandırmasındaki tek bir yanlış sayı (model_max_length=256), Recall@10'u 0.589'dan 0.448'e düşürdü ve çalışmayı neredeyse geçersiz kıldı. Model, AMD Strix Halo üzerinde hızlı ilk aşama erişimi için tasarlandı ve birlikte barındırma senaryolarında bge-m3 ile rekabet ediyor.

DeepPavlov BAAI Microsoft