Poolside — KI-Nachrichten & Modelle

Forschung 🇺🇸

Neueste Innovationen in LLM-Architekturen: gemeinsame KV-Caches, schichtweise Embeddings und komprimierte Aufmerksamkeit

Neue offene LLMs konzentrieren sich zunehmend auf effiziente Verarbeitung langer Kontexte. Gemma 4 (Google) verwendet KV-Tensor-Sharing zwischen Schichten, um die Cache-Größe zu reduzieren, sowie schichtweise Embeddings zur Verbesserung der parametrischen Effizienz. Laguna XS.2 (Poolside) setzt auf schichtweise Aufmerksamkeitsbudgetierung, und DeepSeek V4 führt mHC und komprimierte Aufmerksamkeitsmechanismen ein.

Google/DeepMind

Poolside

DeepSeek

Technology Innovation Institute

Sebastian Raschka27.07 · 13:06

Modelle 🇺🇸

Poolside veröffentlicht Laguna S 2.1 — ein Open-Weight-Modell für agentisches Programmieren, das in SWE-Bench Multilingual über seiner Gewichtsklasse boxt

Poolside hat Laguna S 2.1 veröffentlicht, ein Open-Weight-Modell mit 11,8 Milliarden Parametern und 8 Milliarden aktiven Parametern pro Token, das für agentisches Programmieren entwickelt wurde. Basierend auf einer Mixture-of-Experts-Architektur (MoE) unterstützt es bis zu 1 Million Token Kontext und kann auf einem einzelnen NVIDIA DGX Spark ausgeführt werden. Laguna S 2.1 belegt den ersten Platz unter den Open-Modellen mit bekannter Größe auf Terminal-Bench 2.1 (70,2%) und SWE-Bench Multilingual (78,5%) und übertrifft damit viele größere Wettbewerber.

Poolside

DeepSeek

NVIDIA

Tencent

Moonshot AI

Alibaba/Qwen

Anthropic

MarkTechPost24.07 · 05:04