Kimi K3 がトップに到達した方法：2.8兆パラメータのトレーニングの道のり

Moonshot AIは、28兆のパラメータを持つ大規模言語モデルKimi K3を開発し、ベンチマークで最高のパフォーマンスを達成しました。トレーニングプロセスでは、専門家の混合（Mixture of Experts、MoE）アーキテクチャと、数千のGPUにわたる大規模な並列計算が使用されました。このモデルは、推論、コーディング、多言語能力において大幅な改善を示しています。この成果は、大規模AIモデル開発における中国の成長する能力を強調しています。