러시아어 임베더를 2,400만 파라미터로 축소한 방법 — 한 자리 숫자로 거의 망칠 뻔했습니다

저자는 AMD Strix Halo 노드(통합 메모리 128GB)에서 실행되는 로컬 RAG 시스템을 위해 STRIZH라는 소형 러시아어 덴스 리트리버를 개발했습니다. 노드의 iGPU는 생성형 LLM, 임베더, 리랭커, 주기적 재색인 간에 공유되므로, 계산 경합을 줄이기 위해 경량 리트리버가 필요했습니다. MSE 손실을 사용한 임베딩 회귀 시도가 실패한 후, 저자는 대조 학습을 사용하여 12개 레이어로 구성된 리트리벌 도너 모델을 성공적으로 훈련하고 이를 4개 레이어로 증류했습니다. STRIZH는 2,440만 개의 파라미터, 벡터 크기 384, 평균 풀링, 쿼리/패시지 프리픽스 없음, 최대 8,192토큰 컨텍스트를 지원합니다. 로컬 코퍼스에서 필터링된 하위 집합에 대해 Recall@10 0.751, 전체 집합에 대해 0.800을 달성했습니다. Qwen3.6-35B-A3B와의 공동 배치 벤치마크에서 STRIZH는 200쿼리/초의 온라인 부하에서 bge-m3의 7% 대비 생성 처리량 감소가 2%에 그쳤고, 초당 46배치를 인덱싱하여 bge-m3의 4.9배치를 크게 앞질렀습니다. 그러나 게시 후 토크나이저 구성에 model_max_length=256이 있다는 실수가 발견되었으며, 이를 적용했을 때 Recall@10이 0.589에서 0.448로 떨어졌습니다. 저자는 STRIZH가 USER2-small이나 bge-m3 같은 대형 모델을 대체하기 위한 것이 아니라, 엄격한 계산 예산 하에서 효율적인 덴스 리트리벌을 위한 틈새를 메우기 위한 것임을 강조합니다.