Alibaba brengt Qwen3 Embedding-serie uit voor tekst-embedding en ranking

Alibaba heeft de Qwen3 Embedding-serie uitgebracht: nieuwe propriëtaire modellen van de Qwen-familie, ontworpen voor tekstinbedding, zoeken en rangschikken. De modellen zijn gebaseerd op het fundamentele Qwen3-model, dat ze meertalige mogelijkheden geeft. De serie omvat drie formaten inbeddingsmodellen (0,6B, 4B, 8B) en drie rangschikkingsmodellen (0,6B, 4B, 8B). De inbeddingsmodellen ondersteunen aangepaste vectordimensies (Matryoshka Representation Learning, MRL) en instructies. De modellen zijn open source uitgebracht onder de Apache 2.0-licentie op Hugging Face en ModelScope; het technische rapport en de code zijn gepubliceerd op GitHub. De architectuur van de inbeddingsmodellen is dual-encoder, en die van de rangschikkingsmodellen is cross-encoder. De training vond in verschillende fases plaats: voor de inbeddingsmodellen — contrastieve pre-training op zwak gelabelde data, gevolgd door training op hoogwaardige gelabelde data en modelmerging; voor de rangschikkingsmodellen — directe training op gelabelde data. De generatieve mogelijkheid van Qwen3 werd gebruikt om tijdens de pre-trainingsfase zwak gelabelde paren te genereren. In de toekomst is Alibaba van plan om de trainings- en implementatie-efficiëntie te verbeteren en de familie uit te breiden naar multimodale representaties.