Les grands modèles reviennent à la course aux paramètres : 2 000 milliards devient la norme, 3 000 milliards ensuite ? - Finance Sina
Les grands modèles d'IA reviennent à une focalisation sur le nombre de paramètres comme métrique concurrentielle clé, avec 200 milliards de paramètres devenant une norme pour les meilleurs modèles et des spéculations selon lesquelles 300 milliards pourraient être le prochain jalon. Selon les rapports, les principales entreprises chinoises d'IA augmentent leurs paramètres d'entraînement pour rester compétitives.
L'article de Sina Finance évoque une nouvelle compétition entre les grands modèles de langage, centrée sur le nombre de paramètres. Il note que les modèles d'environ 200 milliards de paramètres sont devenus la norme pour les acteurs de premier plan, et on spécule que la prochaine étape pourrait impliquer des modèles atteignant 300 milliards de paramètres. L'article suggère que cette tendance indique un retour à la montée en échelle comme stratégie principale pour améliorer les capacités des modèles, avec des implications pour les ressources informatiques et les coûts d'entraînement.
Source: Moonshot Kimi (GNews) —
original