Poolside

Dernières actualités, modèles et sorties d'IA de Poolside. ['Laguna S 2.1', 'Laguna XS', 'Laguna XS.2']

Recherche 🇺🇸

Dernières innovations dans les architectures de LLM : caches KV partagés, embeddings par couche et attention compressée

Les nouveaux LLM open source se concentrent de plus en plus sur un traitement efficace des longs contextes. Gemma 4 (Google) utilise le partage des tenseurs KV entre les couches pour réduire la taille du cache, ainsi que des embeddings par couche pour améliorer l'efficacité paramétrique. Laguna XS.2 (Poolside) emploie une budgétisation de l'attention par couche, et DeepSeek V4 introduit les mécanismes mHC et d'attention compressée.

Google/DeepMind

Poolside

DeepSeek

Technology Innovation Institute

Sebastian Raschka27.07 · 13:06

Modèles 🇺🇸

Poolside publie Laguna S 2.1 — un modèle à poids ouverts pour le codage agentique qui surclasse sa catégorie dans SWE-Bench Multilingual

Poolside a publié Laguna S 2.1, un modèle à poids ouverts avec 11,8 milliards de paramètres et 8 milliards d'actifs par jeton, conçu pour le codage agentique. Basé sur une architecture de mélange d'experts (MoE), il prend en charge jusqu'à 1 million de jetons de contexte et peut fonctionner sur un seul NVIDIA DGX Spark. Laguna S 2.1 se classe premier parmi les modèles ouverts de taille connue sur Terminal-Bench 2.1 (70,2 %) et SWE-Bench Multilingual (78,5 %), surpassant de nombreux concurrents plus grands.

Poolside

DeepSeek

NVIDIA

Tencent

Moonshot AI

Alibaba/Qwen

Anthropic

MarkTechPost24.07 · 05:04

Afficher plus ↓