Musim Semi untuk LLM Terbuka: 10 Arsitektur pada Januari–Februari 2026

Penulis menyajikan ikhtisar sepuluh LLM terbuka yang dirilis pada Januari-Februari 2026, dengan fokus pada detail arsitektur. Arcee AI merilis Trinity Large (400B MoE, 13B aktif) dengan attention global-lokal (3:1), QK-Norm, NoPE, gated attention, dan empat lapisan RMSNorm. Moonshot AI memperkenalkan Kimi K2.5 (1 triliun parameter) — ekstensi multimodal dari K2 yang dilatih pada 15 triliun token visual dan teks dengan fusi awal. Step 3.5 Flash dari StepFun (196B MoE, 11B aktif) mencapai 100 token per detik pada panjang konteks 128k menggunakan MTP-3. Qwen3-Coder-Next (80B, 3B aktif) mengungguli model yang lebih besar dalam tugas coding berkat hibrida Gated DeltaNet dan Gated Attention (3:1). Juga disebutkan GLM-5 dari z.AI, MiniMax M2.5, Nanbeige 4.1 3B, Qwen 3.5, Ling 2.5 dan Ring 2.5 dari Ant Group, Tiny Aya dari Cohere, serta model Sarvam 30B dan 105B.