Technology Innovation Institute

Neueste KI-Nachrichten, Modelle und Releases von Technology Innovation Institute. ['ZAYA1-8B']

Forschung 🇺🇸

Neueste Innovationen in LLM-Architekturen: gemeinsame KV-Caches, schichtweise Embeddings und komprimierte Aufmerksamkeit

Neue offene LLMs konzentrieren sich zunehmend auf effiziente Verarbeitung langer Kontexte. Gemma 4 (Google) verwendet KV-Tensor-Sharing zwischen Schichten, um die Cache-Größe zu reduzieren, sowie schichtweise Embeddings zur Verbesserung der parametrischen Effizienz. Laguna XS.2 (Poolside) setzt auf schichtweise Aufmerksamkeitsbudgetierung, und DeepSeek V4 führt mHC und komprimierte Aufmerksamkeitsmechanismen ein.

Google/DeepMind

Poolside

DeepSeek

Technology Innovation Institute

Sebastian Raschka27.07 · 13:06

Forschung 🇺🇸

Überblick über LLM-Forschungspapiere für das erste Halbjahr 2026

Sebastian Raschka hat eine kuratierte Liste wichtiger wissenschaftlicher Arbeiten zu großen Sprachmodellen (Large Language Models, LLMs) von Januar bis Mai 2026 veröffentlicht. Die Auswahl hebt Trends hervor: hybride Architekturen (abwechselnde Aufmerksamkeits- und State-Space-Schichten), effiziente Inferenz, agentische Systeme und Diffusions-Sprachmodelle. Besondere Beachtung finden Nvidias Nemotron 3 mit Hybriddesign und Qwen3.6 mit Gated DeltaNet.

NVIDIA

Alibaba/Qwen

Mistral

Baidu

Cohere

Technology Innovation Institute

MiniMax

Sebastian Raschka27.07 · 12:03