Zhipu AI

Laatste AI-nieuws, modellen en releases van Zhipu AI. ['GLM', 'GLM 4', 'GLM-4', 'GLM-4-32B-0414', 'GLM-4.5', 'GLM-4.6', 'GLM-4.7', 'glm-4.7-flash', 'GLM-4-9B-0414', 'GLM-4-9B-Chat-1M', 'GLM-4-Air-250414', 'GLM-4-Flash-250414', 'GLM 5', 'GLM-5', 'GLM-5.1', 'GLM5.1', 'GLM 5.2', 'GLM-5.2', 'GLM-5.5', 'GLM5-744B-A40B', 'GLM-Z1-32B-0414', 'GLM-Z1-9B-0414', 'GLM-Z1-Air', 'GLM-Z1-AirX', 'GLM-Z1-Flash', 'GLM-Z1-Rumination-32B-0414', 'not specified']

Onderzoek 🇺🇸

Voorbij standaard LLM's: lineaire aandacht hybriden, tekst diffusiemodellen, code wereldmodellen en kleine recurrente transformatoren

Het artikel onderzoekt alternatieven voor standaard autoregressieve transformer-gebaseerde LLM's: lineaire aandacht hybriden (MiniMax-M1, Qwen3-Next, DeepSeek V3.2, Kimi Linear), tekst diffusiemodellen, code wereldmodellen en kleine recurrente transformatoren. De auteur merkt een terugkeer naar klassieke aandacht op in MiniMax-M2 en de complexiteit van lineaire aandacht in productie.

Moonshot AIMoonshot AI MiniMaxMiniMax Alibaba/QwenAlibaba/Qwen DeepSeekDeepSeek Google/DeepMindGoogle/DeepMind MistralMistral MetaMeta Hugging FaceHugging Face Allen Institute for AIAllen Institute for AI xAIxAI OpenAIOpenAI IBMIBM NVIDIANVIDIA
Sebastian Raschka27.07 · 17:04
Vers nieuws