Thinking Machines Lab、初のオープンモデル「Inkling」を公開
Mira Muratiが設立したThinking Machines Labが、初のオープンウェイトモデル「Inkling」をリリースしました。これはマルチモーダルな混合エキスパート(MoE)トランスフォーマーで、9750億のパラメータ(うち410億がアクティブ)を持ち、Apache-2.0ライセンスで配布されます。
元OpenAIのCTOであるミラ・ムラティ氏が設立したThinking Machines Labが、初のオープンウェイトモデル「Inkling」を発表しました。これは、総パラメータ数9750億(アクティブパラメータ410億)のMixture-of-Expertsアーキテクチャを採用したマルチモーダルトランスフォーマーです。テキスト、画像、音声、動画を含む45兆トークンで学習され、Apache-2.0ライセンスで公開されています。また、小型版のInkling-Small(総パラメータ2760億、アクティブ120億)も発表されましたが、そのウェイトはテスト完了後に後日公開されます。開発者は、Inklingはフロンティアモデルではなく、Tinkerプラットフォームを用いたファインチューニングを意図していると強調しています。このモデルは、NVIDIA NemotronやGemma 4など、中国や米国のオープンモデルと競争力があるとされています。記事には、SVGや画像説明を生成するためのAPIリクエストの例も含まれています。
出典: Simon Willison —
原文
