Kimi K3の仕組み:2.8兆パラメータ、線形注意機構、そして百万トークンエージェント
Moonshot AIがKimi K3モデルの重みを公開しました。このモデルは2.8兆パラメータを持つ混合専門家アーキテクチャに基づくマルチモーダルモデルで、トークンあたり1040億パラメータが活性化されます。特定のプログラミングおよびツール使用ベンチマークでは競合他社を上回りますが、平均的には一部の競合に劣ります。
Moonshot AI
Anthropic
OpenAI
Habr — хаб ИИ27.07 · 23:03

