Qwen2.5-LLM: Kielimallien rajojen laajentaminen
Alibaba/Qwen
Alibaba:n Qwen-tiimi on julkaissut Qwen2.5-sarjan kielimalleja, mukaan lukien seitsemän avoimen lähdekoodin mallia, joiden parametrimäärät vaihtelevat 0,5 miljardista 72 miljardiin. Malleissa on laajempi esikoulutusaineisto (jopa 18 biljoonaa tokenia), parannetut tiedot, koodaus- ja matematiikkakyvyt sekä tuki jopa 128 000 tokenin kontekstipituuksille.
Alibaba-konsernin Qwen-tiimi julkisti Qwen2.5-sarjan kielimallit, jotka ovat dekooderipohjaisia tiheitä malleja. Avoimen lähdekoodin malleja julkaistiin seitsemän: 0,5B, 1,5B, 3B, 7B, 14B, 32B ja 72B parametria. Esikoulutusaineisto laajeni 7 biljoonasta 18 biljoonaan tokeniin. Qwen2.5 parantaa Qwen2:een verrattuna suorituskykyä MMLU:lla, koodauksen vertailutesteissä (LiveCodeBench, MultiPL-E, MBPP) ja matematiikan vertailutesteissä (MATH). Qwen2.5-72B ylittää Llama-3-405B:n useissa tehtävissä käyttäen viidesosaa parametreista. Lisämalleja Qwen-Plus ja Qwen-Turbo on saatavilla Alibaba Cloud Model Studio -rajapinnan kautta. Useimmat mallit on lisensoitu Apache 2.0 -lisenssillä, paitsi Qwen2.5-3B ja Qwen2.5-72B, joilla on omat lisenssinsä.
Lähde: Alibaba Qwen —
Alkuperäinen