Thinking Machines, 1 Trilyon Parametreli Açık Multimodal Model Inkling'i Yayımladı

Thinking Machines, Inkling adlı açık multimodal büyük dil modelini yayımladı. Model yaklaşık 1 trilyon toplam parametreye ve 41 milyar aktif parametreye sahip olup metin, görüntü ve ses girdilerini destekliyor; 1 milyon bağlam penceresi sunuyor. Model, Hugging Face'te BF16 ve NVFP4 varyantlarıyla mevcut olup transformers, SGLang, vLLM ve llama.cpp'de sıfırıncı gün desteğine sahip.

Thinking Machines, Inkling adlı büyük bir multimodal uzman karışımı modelini açık kaynak olarak yayınladı. Model yaklaşık 1 trilyon toplam parametre ve 41 milyar aktif parametreye sahip. Yerel olarak metin, görüntü ve ses girdilerini 1 milyon bağlam penceresiyle kabul eden ilk büyük açık model. Mimari, Relative Position Encoding (RoPE) yerine relative attention, 5:1 kaydırmalı-global oranına sahip hibrit attention, kısa 1D evrişim katmanları ve paylaşılan uzmanlarla Uzman Karışımı (Mixture of Experts) içeriyor. Görüntü için hiyerarşik bir MLP patchifier; ses için ayrıklaştırılmış bir mel spektrogramı kullanılıyor. Inkling, tam BF16 (2 TB VRAM gerektirir) ve nicelenmiş NVFP4 varyantı (600 GB VRAM gerektirir) olarak mevcut. transformers pipeline, AutoModelForMultimodalLM, SGLang, vLLM ve llama.cpp ile çıkarımı destekler ve Hugging Face Inference Providers aracılığıyla erişilebilir.

Kaynak: Hugging Face blog — orijinal