La grammaire cachée des modèles de langage : trois découvertes sur la structure de la génération de texte

L'auteur a mené une étude de deux ans sur la structure interne des modèles de langage et a découvert que la génération de texte suit des chemins grammaticaux stables, que les modèles construisent une carte interne de la direction des phrases, et que l'incertitude n'apparaît qu'aux stades ultérieurs de la sélection de mots spécifiques.

OpenAI