BAAI

मैंने एक रूसी एम्बेडर को 24 मिलियन पैरामीटर तक कैसे छोटा किया — और एक अंक से लगभग बर्बाद कर दिया

एक इंजीनियर ने साझा GPU पर स्थानीय RAG के लिए 24.4M पैरामीटर और 4 परतों वाला एक हल्का रूसी डेंस रिट्रीवर, STRIZH, प्रशिक्षित किया। टोकनाइज़र कॉन्फ़िगरेशन में एक गलत संख्या (model_max_length=256) ने Recall@10 को 0.589 से घटाकर 0.448 कर दिया, जिससे काम लगभग बेकार हो गया। यह मॉडल AMD Strix Halo पर तेज़ प्रथम-चरण पुनर्प्राप्ति के लिए है, सह-निवास परिदृश्यों में bge-m3 के साथ प्रतिस्पर्धा करता है।

DeepPavlov BAAI Microsoft