Articles de recherche sur les LLM : La liste 2026 (janvier à mai)

Sebastian Raschka a conservé l'habitude de tenir une liste à jour des articles de recherche qu'il souhaite lire ou citer. Pour le premier semestre 2026, il a compilé une liste sélectionnée d'articles mis en favoris de janvier à mai. La liste n'est pas exhaustive mais reflète ses intérêts pour les modèles de raisonnement, l'apprentissage par renforcement, l'inférence efficace, les systèmes d'agents, l'utilisation d'outils, les longs contextes, les modèles de langage par diffusion et l'infrastructure de service pratique. Les catégories incluent l'architecture et la conception de modèles, l'entraînement efficace et la montée en échelle, l'efficacité de l'inférence et le cache KV, l'attention sparse et les longs contextes, le raisonnement et le calcul en phase de test, l'apprentissage par renforcement et le RLVR, les systèmes d'agents et l'utilisation d'outils, les agents de codage et le génie logiciel, les modèles de langage par diffusion, ainsi que l'évaluation des modèles et les benchmarks. Parmi les articles notables figurent Nemotron 3 Super, qui utilise une architecture hybride Mamba-Transformer pour l'efficacité, ainsi que Mamba-3 et Gated DeltaNet-2 comme alternatives à l'attention. Raschka souligne que l'efficacité en longs contextes est importante car les LLM sont utilisés dans des systèmes d'agents comme OpenClaw. Il note également la tendance des architectures hybrides alternant attention et couches alternatives, comme dans Qwen3.6 avec des couches Gated DeltaNet.