Thinking Machines Merilis Model Multimodal Terbuka Inkling dengan 1 Triliun Parameter

Thinking Machines telah merilis Inkling, sebuah model bahasa besar multimodal terbuka dengan total sekitar 1 triliun parameter dan 41 miliar parameter aktif, yang mendukung masukan teks, gambar, dan audio dengan jendela konteks 1 juta. Model ini tersedia di Hugging Face dalam varian BF16 dan NVFP4, dengan dukungan hari pertama di transformers, SGLang, vLLM, dan llama.cpp.

Thinking Machines telah merilis Inkling secara open-source, sebuah model besar mixture-of-experts multimodal dengan sekitar 1 triliun parameter total dan 41 miliar parameter aktif. Ini adalah model besar terbuka pertama yang secara native menerima input teks, gambar, dan audio dengan jendela konteks 1M. Arsitekturnya mencakup attention relatif sebagai pengganti RoPE, attention hibrida dengan rasio sliding-to-global 5:1, lapisan konvolusi 1D pendek, dan Mixture-of-Experts dengan expert bersama. Untuk visi, menggunakan patchifier MLP hierarkis; untuk audio, menggunakan spektrogram mel yang didiskritisasi. Inkling tersedia dalam format BF16 penuh (membutuhkan 2 TB VRAM) dan varian NVFP4 terkuantisasi (membutuhkan 600 GB VRAM). Ini mendukung inferensi melalui pipeline transformers, AutoModelForMultimodalLM, SGLang, vLLM, dan llama.cpp, dan dapat diakses melalui Hugging Face Inference Providers.

Sumber: Hugging Face blog — asli