Thinking Machines Lança Modelo Multimodal Aberto Inkling com 1 Trilhão de Parâmetros

A Thinking Machines tornou público o Inkling, um grande modelo multimodal de mistura de especialistas com aproximadamente 1 trilhão de parâmetros totais e 41 bilhões de parâmetros ativos. É o primeiro grande modelo aberto a aceitar nativamente entradas de texto, imagem e áudio com uma janela de contexto de 1M. A arquitetura inclui atenção relativa em vez de RoPE, atenção híbrida com uma proporção de deslizamento para global de 5:1, camadas curtas de convolução 1D e Mistura de Especialistas com especialistas compartilhados. Para visão, usa um patchifier MLP hierárquico; para áudio, emprega um mel-espectrograma discretizado. O Inkling está disponível em BF16 completo (exigindo 2 TB de VRAM) e uma variante quantizada NVFP4 (exigindo 600 GB de VRAM). Suporta inferência via pipeline transformers, AutoModelForMultimodalLM, SGLang, vLLM e llama.cpp, e pode ser acessado através dos Provedores de Inferência do Hugging Face.