Poolside

Laatste AI-nieuws, modellen en releases van Poolside. ['Laguna S 2.1', 'Laguna XS', 'Laguna XS.2']

Onderzoek 🇺🇸

Nieuwste innovaties in LLM-architecturen: gedeelde KV-caches, per-laag embeddings en gecomprimeerde aandacht

Nieuwe open LLM's richten zich steeds meer op efficiënte verwerking van lange contexten. Gemma 4 (Google) gebruikt KV-tensor-deling tussen lagen om de cachegrootte te verkleinen, evenals per-laag embeddings om de parametrische efficiëntie te verbeteren. Laguna XS.2 (Poolside) maakt gebruik van per-laag-aandachtsbudgettering, en DeepSeek V4 introduceert mHC en gecomprimeerde aandachtsmechanismen.

Google/DeepMind

Poolside

DeepSeek

Technology Innovation Institute

Sebastian Raschka27.07 · 13:06

Modellen 🇺🇸

Poolside Releases Laguna S 2.1 — an Open-Weight Model for Agentic Coding That Punches Above Its Weight Class in SWE-Bench Multilingual

Poolside released Laguna S 2.1, an open-weight model with 11.8 billion parameters and 8 billion active per token, designed for agentic coding. Based on a Mixture-of-Experts (MoE) architecture, it supports up to 1 million tokens of context and can run on a single NVIDIA DGX Spark. Laguna S 2.1 ranks first among open models with known size on Terminal-Bench 2.1 (70.2%) and SWE-Bench Multilingual (78.5%), outperforming many larger competitors.

Poolside

DeepSeek

NVIDIA

Tencent

Moonshot AI

Alibaba/Qwen

Anthropic

MarkTechPost24.07 · 05:04

Toon meer ↓