Technology Innovation Institute

Laatste AI-nieuws, modellen en releases van Technology Innovation Institute. ['ZAYA1-8B']

Onderzoek 🇺🇸

Nieuwste innovaties in LLM-architecturen: gedeelde KV-caches, per-laag embeddings en gecomprimeerde aandacht

Nieuwe open LLM's richten zich steeds meer op efficiënte verwerking van lange contexten. Gemma 4 (Google) gebruikt KV-tensor-deling tussen lagen om de cachegrootte te verkleinen, evenals per-laag embeddings om de parametrische efficiëntie te verbeteren. Laguna XS.2 (Poolside) maakt gebruik van per-laag-aandachtsbudgettering, en DeepSeek V4 introduceert mHC en gecomprimeerde aandachtsmechanismen.

Google/DeepMind

Poolside

DeepSeek

Technology Innovation Institute

Sebastian Raschka27.07 · 13:06

Onderzoek 🇺🇸

Overzicht van LLM-onderzoekspapers voor de eerste helft van 2026

Sebastian Raschka publiceerde een samengestelde lijst van belangrijke wetenschappelijke papers over grote taalmodellen (LLM's) van januari tot mei 2026. De selectie belicht trends: hybride architecturen (afwisselende aandacht en state-space-lagen), efficiënte inferentie, agentische systemen en diffusie-taalmodellen. Bijzondere aandacht gaat uit naar Nvidia's Nemotron 3 met hybride ontwerp en Qwen3.6 met Gated DeltaNet.

NVIDIA

Alibaba/Qwen

Mistral

Baidu

Cohere

Technology Innovation Institute

MiniMax

Sebastian Raschka27.07 · 12:03