Alibaba laajentaa Qwen2.5-Turbo-kontekstinpituuden miljoonaan merkkiin
Alibaba/Qwen
OpenAI
Alibaba julkaisee Qwen2.5-Turbon, jonka kontekstinpituutta on laajennettu 128 tuhannesta merkistä yhteen miljoonaan merkkiin. Malli saavuttaa 100 prosentin tarkkuuden miljoonan merkin Passkey Retrieval -tehtävässä ja saa 93,1 pistettä RULER-vertailussa, ylittäen GPT-4:n. Päätelmän nopeutta on parannettu jopa 4,3-kertaiseksi harvan huomion avulla, kun taas kustannukset pysyvät 0,3 juanissa miljoonaa merkkiä kohden.
Alibaba on julkistanut Qwen2.5-Turbo-mallin, joka laajentaa kontekstin pituuden 128 000 tokenista miljoonaan tokeniin, mikä vastaa noin miljoonaa englanninkielistä sanaa tai 1,5 miljoonaa kiinalaista merkkiä. Malli saavuttaa 100 prosentin tarkkuuden miljoonan pituisessa Passkey Retrieval -tehtävässä ja saa 93,1 pistettä pitkien tekstien arviointivertailussa RULERissa, ohittaen GPT-4:n 91,6 pistettä ja GLM4-9B-1M:n 89,9 pistettä. Hajautettua huomiomekanismia käyttämällä ensimmäisen tokenin aika miljoonan tokenin kontekstissa lyhenee 4,9 minuutista 68 sekuntiin, mikä on 4,3-kertainen nopeutus. Hinta pysyy 0,3 juanina miljoonaa tokenia kohden, joten Qwen2.5-Turbo pystyy käsittelemään 3,6 kertaa enemmän tokeneita kuin GPT-4o-mini samalla kustannuksella. Malli säilyttää kilpailukykyiset lyhyiden sekvenssien ominaisuudet, jotka ovat GPT-4o-minin tasolla. Se on saatavilla Alibaba Cloud Model Studio -rajapinnan, HuggingFace-demon ja ModelScope-demon kautta.
Lähde: Alibaba Qwen —
Alkuperäinen