Alibaba Merilis Sumber Terbuka Qwen2.5-1M dengan Dukungan Konteks hingga 1 Juta Token

Alibaba Qwen merilis model open-source Qwen2.5-7B-Instruct-1M dan Qwen2.5-14B-Instruct-1M yang mampu memproses konteks hingga 1 juta token. Untuk penerapannya, perusahaan sepenuhnya membuka framework inferensi berbasis vLLM yang menggunakan sparse attention dan mempercepat pemrosesan 1 juta token hingga 3–7 kali lipat. Model-model ini dilatih secara progresif: pertama pada urutan hingga 256.000 token, kemudian diperluas hingga 1 juta dengan ekstrapolasi panjang (Dual Chunk Attention). Dalam uji pengambilan kata sandi (Passkey Retrieval) dan tugas kompleks (RULER, LV-Eval, LongBench), model-model ini secara signifikan mengungguli versi 128.000 token dan GPT-4o-mini. Untuk inferensi, direkomendasikan GPU dengan arsitektur Ampere atau Hopper, minimal 120 GB VRAM untuk 7B dan 320 GB untuk 14B. Juga diperkenalkan Qwen Chat, asisten AI dengan dukungan konteks panjang.