De Verborgen Grammatica van Taalmodellen: Drie Ontdekkingen Over de Structuur van Tekstgeneratie
OpenAI
De auteur deed twee jaar lang onderzoek naar de interne structuur van taalmodellen en ontdekte dat tekstgeneratie stabiele grammaticale paden volgt, modellen een interne kaart van de zinsrichting opbouwen en onzekerheid pas in latere stadia van specifieke woordselectie ontstaat.
В статье на Habr автор делится результатами двухлетнего исследования скрытой грамматики больших языковых моделей. Первое открытие: генерация текста гораздо более структурирована, чем кажется — модель движется по стабильному ядру высокопредсказуемых грамматических путей, подобно основным дорогам в городе, причём эта структура сохраняется даже при разных значениях temperature. Второе открытие: модели строят внутренние карты направления предложения. Эксперименты с GPT-2 показали, что сигнал о грамматической роли следующего слова появляется в середине сети, а не на последнем слое, что указывает на планирование общего направления предложения до выбора конкретных слов. Третий вывод: неопределённость возникает поздно, при выборе точного слова, а не на этапе построения грамматической структуры. Это говорит о двух дополняющих процессах — один организует структуру предложения, другой подбирает слова. Автор считает, что эти находки помогут создавать более понятные и вычислительно эффективные ИИ-системы.
Bron: Habr — хаб NLP —
origineel