Rusça bir embedder'ı 24 milyon parametreye nasıl küçülttüm — ve tek bir rakamla neredeyse mahvettim

Yazar, 128 GB birleşik belleğe sahip bir AMD Strix Halo düğümünde çalışan yerel bir RAG sistemi için STRIZH adında küçük bir Rus yoğun getirici (dense retriever) geliştirdi. Düğümün iGPU'su üretken LLM, embedder, reranker ve periyodik yeniden indeksleme tarafından paylaşılıyor, bu nedenle hesaplama çekişmesini azaltmak için hafif bir getirici gerekiyor. MSE kaybı kullanarak yapılan embedding regresyonu girişiminin başarısız olmasının ardından yazar, karşılaştırmalı öğrenme kullanarak 12 katmanlı bir getiri sağlayıcı (retrieval donor) modelini başarıyla eğitti ve ardından onu 4 katmana damıttı. STRIZH 24,4 milyon parametreye, 384 vektör boyutuna, ortalama havuzlamaya (mean pooling) sahiptir, sorgu/parça önekleri yoktur ve 8192 tokena kadar bağlamı destekler. Yerel bir derlem üzerinde, filtrelenmiş bir alt kümede Recall@10 değeri 0,751 ve tam sette 0,800 olarak elde edildi. Qwen3.6-35B-A3B ile birlikte çalışma kıyaslamalarında, STRIZH, 200 sorgu/sn çevrimiçi yük altında bge-m3'ün %7'sine kıyasla yalnızca %2 üretim verimi düşüşüne neden oldu ve saniyede 4,9'a karşı 46 parti indeksledi. Ancak, yayın sonrası bir hata keşfedildi: tokenleştirici yapılandırmasında model_max_length=256 vardı; bu uygulandığında Recall@10 değeri 0,589'dan 0,448'e düştü. Yazar, STRIZH'in USER2-small veya bge-m3 gibi daha büyük modellerin yerini almayı amaçlamadığını, ancak sıkı hesaplama bütçeleri altında verimli yoğun getirme için bir niş doldurmayı amaçladığını belirtiyor.