Mistral

来自以下厂商的最新 AI 新闻、模型与发布: Mistral. ['AB-UPT', 'Connectors', 'Devstral', 'Devstral 2', 'Devstral 2 Small', 'Devstral Small 2', 'Document AI', 'Emmi AI', 'Forge', 'GyroSwin', 'Leanstral', 'Leanstral 1.5', 'Leanstral (предыдущая версия)', 'Le Chat', 'Le Chat (Vibe)', 'Magistral', 'MiMo-V2-Flash', 'Ministral 3', 'Ministral-3-3B-Instruct-2512', 'Ministral-3-8B-Instruct-2512', 'Ministral 3B', 'Mistral', 'Mistral 3', 'Mistral 7B', 'Mistral-7B', 'Mistral Large', 'Mistral Large 2', 'Mistral Large 3', 'Mistral Medium 3.1', 'Mistral Medium 3.5', 'Mistral Nemo', 'Mistral OCR 3', 'Mistral OCR 4', 'Mistral OCR4', 'Mistral Search Toolkit', 'mistral-small-2603', 'Mistral Small 3', 'Mistral Small 3.1', 'Mistral Small 3.1 24B', 'Mistral-Small-3.1-24B']

研究 🇺🇸

超越标准大语言模型:线性注意力混合体、文本扩散模型、代码世界模型和小型循环Transformer

文章探讨了标准自回归Transformer大语言模型的替代方案:线性注意力混合体(MiniMax-M1、Qwen3-Next、DeepSeek V3.2、Kimi Linear)、文本扩散模型、代码世界模型和小型循环Transformer。作者注意到MiniMax-M2回归了经典注意力,以及线性注意力在生产中的复杂性。

Moonshot AIMoonshot AI MiniMaxMiniMax Alibaba/QwenAlibaba/Qwen DeepSeekDeepSeek Google/DeepMindGoogle/DeepMind MistralMistral MetaMeta Hugging FaceHugging Face Allen Institute for AIAllen Institute for AI xAIxAI OpenAIOpenAI IBMIBM NVIDIANVIDIA
Sebastian Raschka27.07 · 17:04
最新新闻