Thinking Machines、1兆パラメータのオープンマルチモーダルモデルInklingをリリース

Thinking Machines が Inkling をオープンソース化しました。Inkling は大規模なマルチモーダル Mixture-of-Experts モデルで、総パラメータ数が約 1 兆、アクティブパラメータ数は 410 億です。テキスト、画像、音声入力をネイティブに受け付け、1M のコンテキストウィンドウを持つ初の大規模オープンモデルです。アーキテクチャには、RoPE ではなく相対注意機構、スライディング対グローバル比 5:1 のハイブリッド注意機構、短い 1D 畳み込み層、共有エキスパートを持つ Mixture-of-Experts を採用しています。ビジョンには階層的な MLP パッチファイア、オーディオには離散化されたメルスペクトログラムを使用しています。Inkling はフル BF16（2 TB VRAM 必要）と量子化された NVFP4 バリアント（600 GB VRAM 必要）で利用可能です。推論は transformers パイプライン、AutoModelForMultimodalLM、SGLang、vLLM、llama.cpp を介してサポートされ、Hugging Face Inference Providers からアクセスできます。