Poolside

Últimas notícias, modelos e lançamentos de IA de Poolside. ['Laguna S 2.1', 'Laguna XS', 'Laguna XS.2']

Pesquisa 🇺🇸

Últimas inovações em arquiteturas de LLM: caches KV compartilhados, embeddings por camada e atenção comprimida

Novos LLMs abertos focam cada vez mais no processamento eficiente de contextos longos. O Gemma 4 (Google) usa compartilhamento de tensores KV entre camadas para reduzir o tamanho do cache, além de embeddings por camada para melhorar a eficiência paramétrica. O Laguna XS.2 (Poolside) emprega orçamento de atenção por camada, e o DeepSeek V4 introduz mecanismos de mHC e atenção comprimida.

Google/DeepMind

Poolside

DeepSeek

Technology Innovation Institute

Sebastian Raschka27.07 · 13:06

Modelos 🇺🇸

Poolside Lança Laguna S 2.1 — um Modelo de Pesos Abertos para Codificação Agentica que Supera sua Categoria no SWE-Bench Multilíngue

A Poolside lançou o Laguna S 2.1, um modelo de pesos abertos com 11,8 bilhões de parâmetros e 8 bilhões ativos por token, projetado para codificação agentica. Baseado em uma arquitetura de Mistura de Especialistas (MoE), ele suporta até 1 milhão de tokens de contexto e pode ser executado em um único NVIDIA DGX Spark. O Laguna S 2.1 ocupa o primeiro lugar entre modelos abertos com tamanho conhecido no Terminal-Bench 2.1 (70,2%) e no SWE-Bench Multilíngue (78,5%), superando muitos concorrentes maiores.

Poolside

DeepSeek

NVIDIA

Tencent

Moonshot AI

Alibaba/Qwen

Anthropic

MarkTechPost24.07 · 05:04

Mostrar mais ↓