28兆トークンは限界ではない：中国のAIモデルKimi K4はより高みを目指す、GPUがボトルネックに

大規模言語モデル「Kimi」シリーズを開発するムーンショットAI（Moonshot AI）は、次世代モデル「Kimi K4」を発表した。同社の創業者兼CEOは、Kimi K4の規模は「Kimi K3」を上回ると述べた。Kimi K3は28.8兆トークンで学習されている。同氏は、モデルの規模に対する主な制約は技術的な野心ではなく、グラフィックス・プロセッシング・ユニット（GPU）の入手可能性であると強調し、ハードウェアの制約が重要なボトルネックであると指摘した。