Comment fonctionne Kimi K3 : 2,8 billions de paramètres, attention linéaire et agents à un million de jetons
Moonshot AI a publié les poids de son modèle Kimi K3, un modèle multimodal basé sur une architecture de mélange d'experts avec 2,8 billions de paramètres, dont 104 milliards sont activés par jeton. Dans certains benchmarks de programmation et d'utilisation d'outils, le modèle surpasse ses concurrents, mais en moyenne, il est en retard par rapport à certains d'entre eux.
Moonshot AI
Anthropic
OpenAI

