Alibaba、Qwen2.5-Coderをリリース：最大32Bパラメータのオープンソースコードモデル

AlibabaのQwenチームは、Qwen2.5シリーズの一環として、CodeQwen1.5の後継となるQwen2.5-Coderを発表しました。モデルは1.5B、7B、および近日公開予定の32Bの3つのサイズで提供されます。これらは5.5兆トークンでトレーニングされており、ソースコード、テキスト-コード対応データ、合成データに加えて、非コーディング能力を維持するための追加の数学および一般データも含まれています。ベースモデルは最大128Kトークンのコンテキストと92のプログラミング言語をサポートし、コード生成、補完、修復、およびマルチ言語ベンチマークで最先端の結果を達成しています。7BバージョンはコードタスクでDeepSeek-Coder-V2-LiteやCodeStral-22Bを上回り、GSM8KおよびMath評価でも競争力のある数学性能を示しています。指示チューニングされたバリアントであるQwen2.5-Coder-Instructは、タスク性能と汎化をさらに向上させ、マルチ言語コード推論（McEval）、コード推論（CRUXEval）、数学推論（GSM8K、OlympiadBench）で優れています。また、MMLU、CEval、その他のベンチマークで強力な一般能力を維持しています。モデルはApache 2.0ライセンスで公開されています。今後の計画としては、32Bバージョンとコード中心の推論モデルの探求が含まれています。