Компания Thinking Machines представила открытую мультимодальную модель Inkling с 975 млрд параметров
Thinking Machines выпустила на Hugging Face модель Inkling — открытую мультимодальную LLM с ~975 млрд параметров (41 млрд активных), поддерживающую текст, изображения и аудио, агентные возможности и контекст до 1 млн токенов. Модель доступна в версиях BF16 и NVFP4, поддерживается в transformers, SGLang и llama.cpp.
Компания Thinking Machines опубликовала на Hugging Face модель Inkling — большую открытую мультимодальную языковую модель с ~975 млрд параметров (из которых 41 млрд активен благодаря архитектуре Mixture-of-Experts с 256 экспертами). Inkling понимает текст, изображения и аудио, имеет агентные возможности и поддерживает контекст до 1 млн токенов. Модель обучена на 45 триллионах токенов текста, изображений, аудио и видео. В архитектуре используются относительное внимание вместо RoPE, гибридное внимание (5:1 скользящее окно к глобальному) и короткая 1D свертка. Для обработки изображений применяется иерархический MLP-патчификатор, для аудио — дискретизированная мел-спектрограмма. Выпущено две версии: полная BF16 (требует 2 ТБ видеопамяти) и квантованная NVFP4 (требует 600 ГБ) для GPU Blackwell. Модель поддерживается в transformers (версия 5.14.0), SGLang, vLLM и llama.cpp. Для инференса доступны режимы рассуждения от none до max. Через Hugging Face Inference Providers можно использовать модель с суффиксами :auto, :cheapest или :fastest, при этом расходы на инференс покрываются в течение 2 часов после релиза.
- Сокращения
- BF16 = Brain Floating Point 16 — 16-битный формат с плавающей запятой типа Brain Float
- NVFP4 = NVIDIA Floating Point 4 — 4-битный формат с плавающей запятой от NVIDIA
- MTP = Multi-Token Prediction — множественное предсказание токенов
- MoE = Mixture of Experts — смесь экспертов
- MLP = Multilayer Perceptron — многослойный перцептрон
- VRAM = Video Random Access Memory — видеопамять
- SConv = Short Convolution — короткая свертка
- RoPE = Rotary Position Embedding — вращательное позиционное кодирование
Источник: Hugging Face blog —
оригинал