BAAI

러시아어 임베더를 2,400만 파라미터로 축소한 방법 — 한 자리 숫자로 거의 망칠 뻔했습니다

한 엔지니어가 공유 GPU에서 로컬 RAG(검색 증강 생성)를 위해 2,440만 개의 파라미터와 4개의 레이어를 가진 경량 러시아어 덴스 리트리버 STRIZH를 훈련했습니다. 토크나이저 설정(model_max_length=256)의 잘못된 숫자 하나가 Recall@10을 0.589에서 0.448로 떨어뜨려 작업이 거의 무효화될 뻔했습니다. 이 모델은 AMD Strix Halo에서 빠른 1차 검색을 위해 설계되었으며, 공동 상주 시나리오에서 bge-m3와 경쟁합니다.

DeepPavlov BAAI Microsoft