Alibaba julkaisee avoimen lähdekoodin Qwen2.5-1M jopa miljoonan tokenin kontekstituella

Alibaba Qwen on julkaissut avoimet mallit Qwen2.5-7B-Instruct-1M ja Qwen2.5-14B-Instruct-1M, jotka pystyvät käsittelemään jopa miljoonan tokenin kontekstia. Niiden käyttöönottoa varten yritys on avannut kokonaan vLLM-pohjaisen päättelykehyksen, joka hyödyntää harvaa tarkkaavaisuutta (sparse attention) ja nopeuttaa miljoonan tokenin käsittelyä 3–7-kertaiseksi. Malleja koulutettiin asteittain: ensin enintään 256 000 tokenin jaksoilla, ja sitten pituuden ekstrapoloinnilla (Dual Chunk Attention) laajennettiin miljoonaan tokeniin. Testeissä, kuten salasanan hakemisessa (Passkey Retrieval) ja monimutkaisissa tehtävissä (RULER, LV-Eval, LongBench), mallit ylittivät selvästi 128 000 tokenin versiot ja GPT-4o-mini. Päättelyä varten suositellaan Ampere- tai Hopper-arkkitehtuurin GPU:ta, vähintään 120 gigatavua VRAM-muistia 7B-mallille ja 320 gigatavua 14B-mallille. Lisäksi on esitelty Qwen Chat, tekoälyavustaja, joka tukee pitkää kontekstia.