Moonshot AIが人気モデルKimi-K3のウェイトを公開 — 市場トップに迫る性能ながら、はるかに簡単に実行可能

Moonshot AIは、Kimi-K3モデルの重みを無料で公開し、十分な計算能力を持つユーザーは誰でもローカルで実行できるようになりました。このモデルは、以前のOpenAI GPTやAnthropic Claudeの世代を大幅に上回る性能を示し、最新のSolモデルやFableモデルにわずかに劣る程度です。Kimi-K3の運用コストは米国の競合製品より2～3倍安く、コーディングタスクでキャッシュヒットがある場合、標準の入力価格1トークンあたり3ドルに対し、100万トークンあたり0.30ドルにまで低下します。この効率性は、重み保存にMXFP4、活性化にMXFP8という、メモリを節約する低精度フォーマットを使用していることに起因すると思われます。2.8兆のパラメータのうち、同時に活性化されるのはわずか1042億です。このモデルは、ネイティブのMX浮動小数点演算をサポートしていないNvidia H20アクセラレータで動作するように設計されていますが、Blackwellチップではさらに効率的に動作する可能性があります。Kimi-K3は、キー値キャッシュをKimi Delta Attentionと呼ばれる固定サイズの状態ハンドラに置き換え、896のエキスパートのうち16のみを活性化するMoEを採用しています。ただし、公開されているのは重みのみであり、トレーニングプロセスとデータセットはプロプライエタリのままです。