La startup chinoise Moonshot dévoile le plus grand modèle d'IA ouvert au monde, se rapprochant des concurrents américains

La start-up chinoise d'IA Moonshot AI a annoncé Kimi K3, actuellement le plus grand modèle de langage ouvert au monde, avec 1 billion de paramètres. C'est la première fois qu'une entreprise chinoise crée un modèle open source de cette envergure, permettant à d'autres développeurs de l'utiliser et de l'affiner librement. Kimi K3 est basé sur une architecture Mixture-of-Experts, où la partie active des paramètres pour chaque requête est d'environ 270 milliards, ce qui rend le modèle à la fois efficace et puissant. Le modèle a été entraîné sur le supercalculateur Nexa AIDC avec un cluster de 10 000 accélérateurs, nécessitant des investissements importants. Moonshot entend suivre l'exemple de ses homologues américains à succès, comme Llama de Meta, qui ont prouvé qu'un modèle ouvert pouvait devenir une norme industrielle et générer un succès commercial. Bien qu'en termes de métriques brutes, Kimi K3 soit encore en retrait par rapport à ses concurrents américains, ses performances sont proches des modèles propriétaires de premier plan, témoignant d'un rattrapage rapide. L'entreprise a également fourni des outils pour les développeurs, permettant d'exécuter le modèle sur différents appareils.