Printemps des LLM ouverts : 10 architectures de janvier-février 2026

L'auteur présente un aperçu de dix LLM ouverts publiés en janvier-février 2026, en se concentrant sur les détails architecturaux. Arcee AI a publié Trinity Large (400B MoE, 13B actifs) avec une attention locale-globale (3:1), QK-Norm, NoPE, attention à porte et quatre couches RMSNorm. Moonshot AI a introduit Kimi K2.5 (1 billion de paramètres) — une extension multimodale de K2 entraînée sur 15 billions de jetons visuels et textuels avec fusion précoce. Step 3.5 Flash de StepFun (196B MoE, 11B actifs) a atteint 100 jetons par seconde avec une longueur de contexte de 128k en utilisant MTP-3. Qwen3-Coder-Next (80B, 3B actifs) a surpassé des modèles plus grands dans les tâches de codage grâce à un mélange hybride de Gated DeltaNet et d'attention à porte (3:1). Sont également mentionnés GLM-5 de z.AI, MiniMax M2.5, Nanbeige 4.1 3B, Qwen 3.5, Ling 2.5 et Ring 2.5 d'Ant Group, Tiny Aya de Cohere, ainsi que les modèles Sarvam 30B et 105B.