Débat sur les grands modèles de langage : les LLM deviennent-ils plus polyvalents - ou plus spécialisés ?

Andrew Ho a quitté OpenAI après huit mois, citant la faible généralisation et les capacités inégales des grands modèles de langage, même dans des domaines bien financés comme la programmation. Il pense que le problème réside dans des données d'entraînement insuffisantes, car la plupart des compétences économiquement pertinentes sont à peine représentées dans les offres de données existantes. Ho estime que les laboratoires d'IA devront dépenser plus de 100 milliards de dollars pour l'acquisition ciblée de données, car la simple mise à l'échelle ne suffit pas. Il est également sceptique quant aux valorisations élevées des laboratoires de pointe comme OpenAI et Anthropic, notant qu'ils sont chroniquement non rentables et doivent investir constamment pour concurrencer des rivaux moins chers tels que Qwen ou Kimi. Ses premiers produits se concentrent sur des ensembles de données pour la bioinformatique et le travail de laboratoire quotidien, où les modèles actuels comme GPT-5.6 Sol n'atteignent qu'environ 30 pour cent de taux de réussite. Adam Hunt de Cambridge soutient ce point de vue, observant que les derniers modèles deviennent plus spécialisés, avec une croissance dans le codage et les mathématiques complexes tandis que d'autres domaines stagnent. Tom Zahavy de Google DeepMind fournit une explication structurelle, déclarant que les modèles de langage maîtrisent la déduction et l'induction mais échouent à l'abduction créative. Il suggère des modèles du monde actionnables comme une issue possible.