Qwen3-Coder: Alibaba Qwen's Most Agentic Model for Code

Alibaba QwenはQwen3-Coder-480B-A35B-Instructを発表しました。これはMixture-of-Expertsアーキテクチャを採用した4800億パラメータのモデルで、アクティブパラメータは350億です。エージェント型コーディング、ブラウザ操作、ツール利用のタスクにおいて、オープンモデルとして新記録を樹立し、Claude Sonnet 4に匹敵する性能を発揮します。ネイティブで256Kトークンのコンテキストをサポートし、YaRN（Yet another Rotary Position Embedding extrapolation method）などの外挿手法を用いることで、100万トークンまで拡張可能です。Qwen3-Coderは7.5兆トークン（うち70%がコード）で学習され、一般的な能力や数学的能力も維持されています。ポストトレーニングには2つの大規模なアプローチが用いられています。Code RL（多様なコーディングタスクにおける強化学習で、テストケースを自動生成）と、Long-Horizon RL（長期的強化学習）で、SWE-Benchなどの実際のソフトウェア工学タスクにおける多段階インタラクションを扱います。学習環境のスケーリングにはAlibaba Cloudのインフラが使用され、2万の独立した環境を並行して実行できます。モデルとともに、Gemini Codeをベースにしたコマンドラインツール「Qwen Code」もリリースされ、プロンプトと関数呼び出しプロトコルが最適化されています。Qwen3-CoderはClaude Code、Cline、およびAlibaba Cloud Model StudioのAPIからも利用可能です。開発チームは、他のサイズのモデルをリリースし、コーディングエージェントの自己改善の可能性を探求する計画です。