Kimi K2、世界最大規模のパラメータ数を持つオープンソースモデルを公開

Moonshot AIは、世界で最もパラメータ数が多いオープンソースモデルであるKimi K2のソースコードを完全公開したと発表しました。このモデルは、Tencent Cloud、ModelScope、Replicate、CrossComputeを含む複数のクラウドプラットフォームで利用可能です。Kimi K2は1兆のパラメータを持ち、長いコンテキストの処理を最適化する革新的なアーキテクチャであるMoBA（Mixture of Block Attention）を採用しています。このモデルは15.5兆トークンでトレーニングされており、コーディング、数学、科学タスクの分野で高いパフォーマンスを発揮します。Kimi K2は、さまざまなベンチマークでGPT-4oやClaude 3.5 Sonnetなどのモデルを上回り、推論コストはGPT-4oの7分の1です。このモデルは、オープンソースライセンスの下で商用利用が可能であり、開発者や企業が商用目的で使用できます。