Alibaba julkaisi Qwen3 Embedding -sarjan tekstin upotukseen ja luokitukseen

Alibaba on julkaissut Qwen3 Embedding -sarjan – uudet Qwen-perheen omat mallit, jotka on suunniteltu tekstien upotukseen, hakuun ja järjestykseen. Mallit perustuvat perustavanlaatuiseen Qwen3-malliin, joka antaa niille monikieliset ominaisuudet. Sarjaan kuuluu kolmea kokoa upotusmalleja (0,6B, 4B, 8B) ja kolmea järjestysmallia (0,6B, 4B, 8B). Upotusmallit tukevat mukautettuja vektoridimensioita (Matryoshka Representation Learning, MRL) ja ohjeita. Mallit on avoimen lähdekoodin lisenssillä Apache 2.0 julkaistu Hugging Facessa ja ModelScopessa; tekninen raportti ja koodi on julkaistu GitHubissa. Upotusmallien arkkitehtuuri on kaksoiskooderi ja järjestysmallien ristikooderi. Koulutus suoritettiin useissa vaiheissa: upotusmalleille kontrastiivinen esikoulutus heikosti merkityllä datalla, jota seurasi koulutus korkealaatuisella merkityllä datalla ja mallien yhdistäminen; järjestysmalleille suora koulutus merkityllä datalla. Qwen3:n generatiivista kyvykkyyttä käytettiin heikosti merkittyjen parien luomiseen esikoulutusvaiheessa. Tulevaisuudessa Alibaba suunnittelee parantavansa koulutuksen ja käyttöönoton tehokkuutta sekä laajentavansa perhettä multimodaalisiin esityksiin.