Kimi K3 オープンソース化：Anthropic がついに本音を見せる

Moonshot AIは、ベンチマーク性能がAnthropicのClaude Sonnet 4に匹敵するKimi K3モデルをオープンソース化しました。オープンソースリリースには、モデルの重みと技術レポートが含まれています。レポートによると、AnthropicはChinchilla最適比率のスケールアップ版を採用しており、より効率的なトレーニングのために、より大きなバッチサイズとより高い学習率をサポートしています。Kimi K3は、Mixture of Experts（MoE）アーキテクチャに基づいており、合計48のエキスパートと、トークンあたり2つのアクティブエキスパートを持ち、総パラメータ2640億のうち、アクティブパラメータは370億です。このモデルは、スケーリングと効率性を考慮して設計されており、コンテキスト長は128K、FP8混合精度トレーニングを採用しています。Kimi K3のオープンソース化は、高度なAIへのアクセスを民主化し、AnthropicやOpenAIなどの確立されたプレーヤーに挑戦する動きと見られています。