オープンLLMの春：2026年1月～2月の10のアーキテクチャ

本稿では、2026年1月から2月にかけて公開された10のオープン大規模言語モデル（LLM）について、アーキテクチャの詳細を中心に概説する。Arcee AIはTrinity Large（パラメータ数400B、MoE、アクティブパラメータ13B）をリリースし、ローカル-グローバルアテンション（3:1）、QK-Norm、NoPE、ゲート付きアテンション、4つのRMSNorm層を採用している。Moonshot AIはKimi K2.5（1兆パラメータ）を発表。これはK2のマルチモーダル拡張版であり、15兆のビジュアルおよびテキストトークンで初期融合を用いて学習されている。StepFunのStep 3.5 Flash（パラメータ数196B、MoE、アクティブパラメータ11B）は、MTP-3を使用し、コンテキスト長128kで毎秒100トークンを達成した。Qwen3-Coder-Next（80B、アクティブパラメータ3B）は、Gated DeltaNetとGated Attentionのハイブリッド（3:1）により、コーディングタスクでより大規模なモデルを上回った。また、z.AIのGLM-5、MiniMax M2.5、Nanbeige 4.1 3B、Qwen 3.5、Ant GroupのLing 2.5とRing 2.5、CohereのTiny Aya、さらにSarvam 30Bおよび105Bモデルについても言及されている。