Poolside

Últimas noticias, modelos y lanzamientos de IA de Poolside. ['Laguna S 2.1', 'Laguna XS', 'Laguna XS.2']

Investigación 🇺🇸

Últimas innovaciones en arquitecturas de LLM: cachés KV compartidas, embeddings por capa y atención comprimida

Los nuevos LLM abiertos se centran cada vez más en el procesamiento eficiente de contextos largos. Gemma 4 (de Google) utiliza el uso compartido de tensores KV entre capas para reducir el tamaño de la caché, así como embeddings por capa para mejorar la eficiencia paramétrica. Laguna XS.2 (de Poolside) emplea un presupuesto de atención por capa, y DeepSeek V4 introduce mecanismos de mHC y atención comprimida.

Google/DeepMind

Poolside

DeepSeek

Technology Innovation Institute

Sebastian Raschka27.07 · 13:06

Modelos 🇺🇸

Poolside lanza Laguna S 2.1 — un modelo de pesos abiertos para codificación agéntica que rinde por encima de su categoría en SWE-Bench Multilingüe

Poolside lanzó Laguna S 2.1, un modelo de pesos abiertos con 11,8 mil millones de parámetros y 8 mil millones activos por token, diseñado para codificación agéntica. Basado en una arquitectura de Mezcla de Expertos (MoE), admite hasta 1 millón de tokens de contexto y puede ejecutarse en un solo NVIDIA DGX Spark. Laguna S 2.1 ocupa el primer lugar entre los modelos abiertos con tamaño conocido en Terminal-Bench 2.1 (70,2%) y SWE-Bench Multilingüe (78,5%), superando a muchos competidores más grandes.

Poolside

DeepSeek

NVIDIA

Tencent

Moonshot AI

Alibaba/Qwen

Anthropic

MarkTechPost24.07 · 05:04

Mostrar más ↓