2.8兆パラメータは終着点ではない：国内モデルKimi K4が極限の規模を目指し、GPUがボトルネックに

Kimi Kシリーズを手掛ける中国のスタートアップMoonshot AIは、最新モデル「Kimi K4」のリリースを発表し、2.8兆パラメータを持つと主張しています。これは、これまで報告された中でも最大級の高密度モデルの一つです。同社は、これが上限ではなく、モデルサイズの拡大を継続する計画であると示しました。しかし、高性能GPUの入手がさらなる拡張の主な制限要因であると述べています。既存のモデルは数千基のNVIDIA H800 GPUを使用してトレーニングされており、より高度なハードウェアを入手することは、輸出規制や国内の供給制約のために困難です。