Thinking Machines выпускает открытую мультимодальную модель Inkling с 1 триллионом параметров

Thinking Machines выпустила Inkling — открытую мультимодальную большую языковую модель (LLM) с примерно 1 трлн общих параметров и 41 млрд активных параметров, поддерживающую текстовый, графический и аудиовходы с окном контекста в 1 млн токенов. Модель доступна на Hugging Face в вариантах BF16 и NVFP4, с поддержкой с первого дня в библиотеках transformers, SGLang, vLLM и llama.cpp.

Компания Thinking Machines открыла исходный код Inkling — большой мультимодальный асимметричный ансамбль моделей (mixture-of-experts) с примерно 1 триллионом параметров всего и 41 миллиардом активных параметров. Это первая крупная открытая модель, которая изначально принимает текстовые, графические и аудиовходные данные с окном контекста в 1 миллион. Архитектура включает относительное внимание

Показать ещё ↓

Источник: Hugging Face blog — оригинал