Lente voor open LLM's: 10 architecturen in januari–februari 2026

De auteur geeft een overzicht van tien open LLM's die in januari-februari 2026 zijn uitgebracht, met de nadruk op architecturale details. Arcee AI bracht Trinity Large uit (400B MoE, 13B actief) met lokaal-globale aandacht (3:1), QK-Norm, NoPE, gated attention en vier RMSNorm-lagen. Moonshot AI introduceerde Kimi K2.5 (1 biljoen parameters) - een multimodale uitbreiding van K2, getraind op 15 biljoen visuele en tekstuele tokens met vroege fusie. Step 3.5 Flash van StepFun (196B MoE, 11B actief) behaalde 100 tokens per seconde bij een contextlengte van 128k met behulp van MTP-3 (Multi-Token Prediction met 3 voorspellingstokens). Qwen3-Coder-Next (80B, 3B actief) presteerde beter dan grotere modellen in codeertaken dankzij een hybride van Gated DeltaNet en Gated Attention (3:1). Ook genoemd worden GLM-5 van z.AI, MiniMax M2.5, Nanbeige 4.1 3B, Qwen 3.5, Ling 2.5 en Ring 2.5 van Ant Group, Tiny Aya van Cohere, evenals de Sarvam 30B- en 105B-modellen.