Thinking Machines Unveils Open Multimodal Model Inkling with Trillion Parameters

Компания Thinking Machines выпустила открытую мультимодальную модель Inkling, доступную на Hugging Face. Модель имеет около 975 миллиардов параметров (41 миллиард активных благодаря архитектуре MoE), поддерживает изображения, аудио, текст и видео, а также окно контекста до 1 миллиона токенов. Inkling обучена на 45 триллионах токенов различных модальностей. Архитектура включает декодер, гибридное внимание (чередование глобального и скользящего оконного внимания в соотношении 5:1), короткие 1D-свёртки (SConv) для локального представления и MoE с 256 экспертами, из которых при каждом вызове активны 6 выбранных и 2 общих эксперта. Для позиционирования используется относительное внимание вместо RoPE. Мультимодальные модули: для изображений — простой иерархический MLP-патчификатор, для аудио — дискретизированная мел-спектрограмма, каждый фрагмент аудио длительностью 100 мс преобразуется в мел-бинары. Inkling поддерживает инструментальные возможности (агентность) и поставляется с поддержкой «с первого дня» в библиотеках Transformers, SGLang и vLLM. Для инференса модель требует 2 ТБ видеопамяти в версии BF16 и 600 ГБ — в NVFP4, который подходит для видеокарт Blackwell. Доступна через серверные роутеры Hugging Face Inference Providers и локально через llama.cpp с GGML-квантами. В статье приведены примеры кода для работы с моделью через pipelines, AutoModelForMultimodalLM, SGLang и vLLM.