La gramática oculta de los modelos de lenguaje: tres descubrimientos sobre la estructura de la generación de texto
OpenAI
El autor realizó un estudio de dos años sobre la estructura interna de los modelos de lenguaje y descubrió que la generación de texto sigue caminos gramaticales estables, los modelos construyen un mapa interno de la dirección de la oración y la incertidumbre surge solo en etapas posteriores de la selección de palabras específicas.
В статье на Habr автор делится результатами двухлетнего исследования скрытой грамматики больших языковых моделей. Первое открытие: генерация текста гораздо более структурирована, чем кажется — модель движется по стабильному ядру высокопредсказуемых грамматических путей, подобно основным дорогам в городе, причём эта структура сохраняется даже при разных значениях temperature. Второе открытие: модели строят внутренние карты направления предложения. Эксперименты с GPT-2 показали, что сигнал о грамматической роли следующего слова появляется в середине сети, а не на последнем слое, что указывает на планирование общего направления предложения до выбора конкретных слов. Третий вывод: неопределённость возникает поздно, при выборе точного слова, а не на этапе построения грамматической структуры. Это говорит о двух дополняющих процессах — один организует структуру предложения, другой подбирает слова. Автор считает, что эти находки помогут создавать более понятные и вычислительно эффективные ИИ-системы.
Fuente: Habr — хаб NLP —
original