Technology Innovation Institute

Dernières actualités, modèles et sorties d'IA de Technology Innovation Institute. ['ZAYA1-8B']

Recherche 🇺🇸

Dernières innovations dans les architectures de LLM : caches KV partagés, embeddings par couche et attention compressée

Les nouveaux LLM open source se concentrent de plus en plus sur un traitement efficace des longs contextes. Gemma 4 (Google) utilise le partage des tenseurs KV entre les couches pour réduire la taille du cache, ainsi que des embeddings par couche pour améliorer l'efficacité paramétrique. Laguna XS.2 (Poolside) emploie une budgétisation de l'attention par couche, et DeepSeek V4 introduit les mécanismes mHC et d'attention compressée.

Google/DeepMind

Poolside

DeepSeek

Technology Innovation Institute

Sebastian Raschka27.07 · 13:06

Recherche 🇺🇸

État des lieux des articles de recherche sur les LLM pour le premier semestre 2026

Sebastian Raschka a publié une liste commentée des articles scientifiques clés sur les grands modèles de langage (LLM) de janvier à mai 2026. La sélection met en avant les tendances : architectures hybrides (alternance de couches d'attention et d'espace d'état), inférence efficace, systèmes agentiques et modèles de langage par diffusion. Une attention particulière est accordée au Nemotron 3 de Nvidia avec conception hybride et au Qwen3.6 avec Gated DeltaNet.

NVIDIA

Alibaba/Qwen

Mistral

Baidu

Cohere

Technology Innovation Institute

MiniMax

Sebastian Raschka27.07 · 12:03