AWS で Kimi K3 をデプロイする

2026年7月27日、Moonshot AIは、2兆8000億パラメータのMixture of Experts（MoE）モデル「Kimi K3」をオープンウェイトで公開しました。Kimi Delta AttentionやGated Multi Head Latent Attentionなどのアーキテクチャ上の革新を採用し、トークンあたり896人の専門家のうち16人を活性化（アクティブパラメータ1040億）します。このモデルは100万トークンのコンテキストウィンドウ、ネイティブのマルチモーダル入力（テキスト＋画像）、ツール呼び出し、構造化出力をサポートします。AWSは2つのデプロイメントオプションを提供しています。オーケストレーションを抽象化するInference Operatorを備えたAmazon SageMaker HyperPodと、EC2 Capacity Blocksを使用したセルフマネージド型のAmazon EKSクラスターです。どちらもp6-b300.48xlargeインスタンス（NVIDIA B300 Blackwell Ultra GPUを8基搭載）が必要です。ウェイトはHugging FaceでMXFP4形式で入手可能で、推奨されるサービングエンジンはvLLMです。エンドポイントはOpenAI互換のAPIを公開しています。