AlibabaがQwen2.5-1Mをオープンソース化、最大100万トークンのコンテキストに対応

Alibaba Qwenは、最大100万トークンのコンテキストを処理できるオープンモデルQwen2.5-7B-Instruct-1MとQwen2.5-14B-Instruct-1Mを発表しました。これらのモデルをデプロイするために、同社はvLLMベースの推論フレームワークを完全にオープンソース化しました。このフレームワークはスパースアテンション（sparse attention）を採用し、100万トークンの処理を3〜7倍高速化します。モデルは段階的に学習され、まず最大256Kトークンのシーケンスで学習し、その後、デュアルチャンクアテンション（Dual Chunk Attention）による長さの外挿を用いて100万トークンに拡張されました。パスワード検索（Passkey Retrieval）や複雑なタスク（RULER、LV-Eval、LongBench）のテストでは、これらのモデルは128KバージョンやGPT-4o-miniを大幅に上回る性能を示しました。推論には、AmpereまたはHopperアーキテクチャのGPUが必要で、7Bモデルには最低120GBのVRAM、14Bモデルには320GBのVRAMが推奨されます。また、長いコンテキストに対応したAIアシスタントQwen Chatも公開されました。