Kimi K2 ouvre le code source du plus grand modèle avec paramètres globaux

Moonshot AI a annoncé la mise en open source intégrale de son modèle Kimi K2, qui est le plus grand modèle open source au monde en termes de nombre de paramètres. Le modèle est déjà disponible sur plusieurs plateformes cloud, notamment Tencent Cloud, ModelScope, Replicate et CrossCompute. Kimi K2 compte 1 billion de paramètres et utilise une architecture innovante appelée MoBA (Mixture of Block Attention), qui optimise le traitement des contextes longs. Le modèle a été entraîné sur 15,5 billions de jetons, ce qui garantit des performances élevées dans les domaines du codage, des mathématiques et des tâches scientifiques. Kimi K2 surpasse des modèles tels que GPT-4o et Claude 3.5 Sonnet dans divers tests, tout en ayant un coût d'inférence 7 fois inférieur à celui de GPT-4o. Le modèle est disponible pour un usage commercial sous une licence open source, permettant aux développeurs et aux entreprises de l'utiliser à des fins commerciales.