Kimi K3 open source : Anthropic montre enfin son jeu

Moonshot AI a ouvert le code du modèle Kimi K3, dont les performances de référence sont comparables à celles du Claude Sonnet 4 d'Anthropic. La publication en open source comprend les poids du modèle et un rapport technique. Le rapport révèle qu'Anthropic a adopté une version mise à l'échelle du ratio optimal de Chinchilla, prenant en charge une taille de lot plus grande et un taux d'apprentissage plus élevé pour un entraînement plus efficace. Kimi K3 est basé sur une architecture de mélange d'experts (MoE), avec un total de 48 experts et 2 experts actifs par jeton, avec 37 milliards de paramètres activés sur un total de 264 milliards de paramètres. Le modèle est conçu pour le passage à l'échelle et l'efficacité, avec une longueur de contexte de 128 000 jetons et un entraînement en précision mixte FP8. L'ouverture du code de Kimi K3 est perçue comme une mesure visant à démocratiser l'accès à l'IA avancée et à défier les acteurs établis comme Anthropic et OpenAI.