Technology Innovation Institute

Últimas notícias, modelos e lançamentos de IA de Technology Innovation Institute. ['ZAYA1-8B']

Pesquisa 🇺🇸

Últimas inovações em arquiteturas de LLM: caches KV compartilhados, embeddings por camada e atenção comprimida

Novos LLMs abertos focam cada vez mais no processamento eficiente de contextos longos. O Gemma 4 (Google) usa compartilhamento de tensores KV entre camadas para reduzir o tamanho do cache, além de embeddings por camada para melhorar a eficiência paramétrica. O Laguna XS.2 (Poolside) emprega orçamento de atenção por camada, e o DeepSeek V4 introduz mecanismos de mHC e atenção comprimida.

Google/DeepMind

Poolside

DeepSeek

Technology Innovation Institute

Sebastian Raschka27.07 · 13:06

Pesquisa 🇺🇸

Levantamento de Artigos de Pesquisa sobre LLMs para o Primeiro Semestre de 2026

Sebastian Raschka publicou uma lista curada de artigos científicos fundamentais sobre modelos de linguagem de grande porte (LLMs) de janeiro a maio de 2026. A seleção destaca tendências: arquiteturas híbridas (camadas de atenção e espaço de estado alternadas), inferência eficiente, sistemas agentivos e modelos de linguagem de difusão. Atenção especial é dada ao Nemotron 3 da Nvidia com design híbrido e ao Qwen3.6 com Gated DeltaNet.

NVIDIA

Alibaba/Qwen

Mistral

Baidu

Cohere

Technology Innovation Institute

MiniMax

Sebastian Raschka27.07 · 12:03