Kimi K3 peut contenir 22 580 GPT-2 : sept ans d'évolution des grands modèles de langage, bien plus qu'une simple croissance des paramètres
Moonshot AI
OpenAI
Une étude utilisant le Kimi K3 de Moonshot AI comme référence révèle que les grands modèles de langage ont évolué sur sept ans non seulement grâce à une augmentation des paramètres, mais aussi à des améliorations architecturales et d'efficacité. La comparaison montre que la capacité du Kimi K3 équivaut à 22 580 modèles GPT-2.
Une analyse récente, se référant au Kimi K3 de Moonshot AI, met en lumière l'évolution significative des grands modèles de langage au cours des sept dernières années, en notant que les progrès vont au-delà du simple nombre de paramètres. L'étude souligne que le Kimi K3, en tant que modèle moderne, possède une capacité équivalente à 22 580 modèles GPT-2, illustrant ainsi l'augmentation spectaculaire de la taille des modèles. Cependant, les résultats insistent sur le fait que les améliorations apportées à l'architecture, à l'efficacité de l'entraînement et à d'autres facteurs ont également joué un rôle crucial dans l'avancement des LLM, et pas seulement l'augmentation du nombre de paramètres.
Source: Moonshot Kimi (GNews) —
original