A Gramática Oculta dos Modelos de Linguagem: Três Descobertas Sobre a Estrutura de Geração de Texto

O autor conduziu um estudo de dois anos sobre a estrutura interna de modelos de linguagem e descobriu que a geração de texto segue caminhos gramaticais estáveis, os modelos constroem um mapa interno da direção da frase e a incerteza surge apenas em estágios posteriores da seleção de palavras específicas.

OpenAI