BAAI

Cara Saya Mengecilkan Embedder Rusia menjadi 24 Juta Parameter — dan Hampir Merusaknya dengan Satu Digit

Seorang insinyur melatih dense retriever Rusia yang ringan, STRIZH, dengan 24,4 juta parameter dan 4 lapisan, untuk RAG (Retrieval-Augmented Generation) lokal pada GPU bersama. Satu angka yang salah dalam konfigurasi tokenizer (model_max_length=256) menurunkan Recall@10 dari 0,589 menjadi 0,448, hampir membatalkan seluruh pekerjaan. Model ini dirancang untuk retrieval tahap pertama yang cepat pada AMD Strix Halo, bersaing dengan bge-m3 dalam skenario co-residency.

DeepPavlov BAAI Microsoft