Allen Institute for AI — notícias e modelos de IA

Modelos 🇺🇸

Comparação de Arquiteturas de Grandes Modelos de Linguagem: Do DeepSeek V3 ao OLMo 2

Sebastian Raschka publicou uma comparação detalhada das arquiteturas de LLMs abertos modernos, destacando inovações-chave: Multi-Head Latent Attention (MLA) e Mixture-of-Experts (MoE) no DeepSeek V3, além de características de normalização no OLMo 2. O artigo aborda a evolução do GPT-2 até modelos de 2025.

DeepSeek

Allen Institute for AI

Sebastian Raschka27.07 · 18:04

Pesquisa 🇺🇸

Além dos LLMs Padrão: Híbridos de Atenção Linear, Modelos de Difusão de Texto, Modelos de Mundo de Código e Pequenos Transformers Recorrentes

O artigo explora alternativas aos LLMs padrão baseados em transformers autorregressivos: híbridos de atenção linear (MiniMax-M1, Qwen3-Next, DeepSeek V3.2, Kimi Linear), modelos de difusão de texto, modelos de mundo de código e pequenos transformers recorrentes. O autor observa um retorno à atenção clássica no MiniMax-M2 e a complexidade da atenção linear em produção.