Thinking Machines 发布拥有1万亿参数的开源多模态模型 Inkling

Thinking Machines 开源了 Inkling，这是一个大型多模态混合专家模型，总参数约 1 万亿，激活参数 410 亿。它是首个原生支持文本、图像和音频输入，并拥有 100 万上下文窗口的大型开源模型。其架构包括：相对注意力（而非 RoPE）、滑动与全局注意力比例为 5:1 的混合注意力、短一维卷积层以及带有共享专家的混合专家模块。视觉方面采用分层 MLP 分块器；音频方面使用离散化梅尔频谱图。Inkling 提供完整 BF16 版本（需 2 TB 显存）和量化 NVFP4 变体（需 600 GB 显存）。它支持通过 transformers pipeline、AutoModelForMultimodalLM、SGLang、vLLM 和 llama.cpp 进行推理，并可通过 Hugging Face 推理提供商访问。