알리바바, 텍스트 임베딩 및 랭킹을 위한 Qwen3 Embedding 시리즈 출시

알리바바가 Qwen3 Embedding 시리즈를 출시했습니다. 이는 Qwen 패밀리의 새로운 독점 모델로, 텍스트 임베딩, 검색 및 랭킹을 위해 설계되었습니다. 이 모델들은 다국어 능력을 제공하는 기반 모델인 Qwen3를 기반으로 합니다. 이 시리즈에는 세 가지 크기의 임베딩 모델(0.6B, 4B, 8B)과 세 가지 랭킹 모델(0.6B, 4B, 8B)이 포함됩니다. 임베딩 모델은 사용자 정의 벡터 차원(마트료시카 표현 학습, MRL)과 명령어를 지원합니다. 이 모델들은 Hugging Face와 ModelScope에서 Apache 2.0 라이선스로 오픈소스 공개되었으며, 기술 보고서와 코드는 GitHub에 게시되었습니다. 임베딩 모델의 아키텍처는 듀얼 인코더이고, 랭킹 모델의 아키텍처는 크로스 인코더입니다. 훈련은 여러 단계로 진행되었습니다. 임베딩 모델의 경우 약하게 레이블링된 데이터에 대한 대조 사전 훈련 후, 고품질 레이블링 데이터로 훈련하고 모델을 병합했습니다. 랭킹 모델의 경우 레이블링 데이터에 대해 직접 훈련했습니다. 사전 훈련 단계에서 약하게 레이블링된 쌍을 생성하기 위해 Qwen3의 생성 능력이 사용되었습니다. 향후 알리바바는 훈련 및 배포 효율성을 개선하고 이 패밀리를 멀티모달 표현으로 확장할 계획입니다.