मैंने एक रूसी एम्बेडर को 24 मिलियन पैरामीटर तक कैसे छोटा किया — और एक अंक से लगभग बर्बाद कर दिया

लेखक ने AMD Strix Halo नोड पर चलने वाले एक स्थानीय RAG सिस्टम के लिए STRIZH नामक एक छोटा रूसी डेंस रिट्रीवर विकसित किया, जिसमें 128 GB यूनिफाइड मेमोरी है। नोड का iGPU जनरेटिव LLM, एम्बेडर, रीरैंकर और आवधिक रीइंडेक्सिंग द्वारा साझा किया जाता है, इसलिए कंप्यूट संघर्ष को कम करने के लिए एक हल्के रिट्रीवर की आवश्यकता होती है। MSE लॉस का उपयोग करके एम्बेडिंग प्रतिगमन के असफल प्रयास के बाद, लेखक ने कंट्रास्टिव लर्निंग का उपयोग करके 12 परतों वाले रिट्रीवल डोनर मॉडल को सफलतापूर्वक प्रशिक्षित किया और फिर इसे 4 परतों में डिस्टिल किया। STRIZH में 24.4 मिलियन पैरामीटर, वेक्टर आकार 384, मीन पूलिंग, कोई क्वेरी/पैसेज उपसर्ग नहीं है, और 8192 टोकन तक का संदर्भ समर्थन करता है। एक स्थानीय कॉर्पस पर, इसने फ़िल्टर किए गए सबसेट पर Recall@10 0.751 और पूर्ण सेट पर 0.800 प्राप्त किया। Qwen3.6-35B-A3B के साथ सह-निवास बेंचमार्क में, STRIZH ने 200 क्वेरी/सेकंड की ऑनलाइन लोड के दौरान bge-m3 के 7% की तुलना में केवल 2% जनरेशन थ्रूपुट गिरावट का कारण बना, और 4.9 बनाम 46 बैच/सेकंड इंडेक्स किया। हालाँकि, प्रकाशन के बाद एक गलती का पता चला: टोकनाइज़र कॉन्फ़िगरेशन में model_max_length=256 था, जिसे लागू करने पर Recall@10 0.589 से घटकर 0.448 हो गया। लेखक नोट करता है कि STRIZH का उद्देश्य USER2-small या bge-m3 जैसे बड़े मॉडलों को प्रतिस्थापित करना नहीं है, बल्कि सख्त कंप्यूट बजट के तहत कुशल डेंस रिट्रीवल के लिए एक विशिष्ट क्षेत्र भरना है।