Les grands modèles reviennent à la course aux paramètres : 2 000 milliards deviennent la norme, 3 000 milliards sont-ils la prochaine étape ?

L'article rapporte que l'industrie chinoise des grands modèles se concentre à nouveau sur l'augmentation du nombre de paramètres, avec 2 000 milliards de paramètres devenant la nouvelle référence pour les modèles de pointe. Des initiés du secteur suggèrent que le prochain objectif est de 3 000 milliards de paramètres, reflétant un regain d'attention sur la taille pure du modèle comme facteur clé de différenciation concurrentielle. Ce changement intervient après une période où l'efficacité et les petits modèles étaient privilégiés, mais désormais, la course à l'échelle est de retour, motivée par l'hypothèse que des modèles plus grands produisent des capacités supérieures. Cependant, cette direction apporte également des défis importants, notamment des besoins immenses en ressources informatiques, des coûts de formation élevés et la nécessité de techniques d'optimisation plus avancées. La tendance est observée dans les grandes entreprises chinoises d'intelligence artificielle, qui investissent massivement pour suivre le rythme de la course mondiale à l'IA. Les experts préviennent que simplement augmenter les paramètres peut ne pas garantir de meilleures performances, et qu'il convient de prêter davantage attention à la qualité des données et à l'innovation algorithmique.