модели строят внутренние карты направления предложения. Эксперименты с GPT-2 показали, что сигнал о грамматической роли следующего слова появляется в середине сети, а не на последнем слое, что указывает на планирование общего направления предложения до выбора конкретных слов. Третий вывод: неопределённость возникает поздно, при выборе точного слова, а не на этапе построения грамматической структуры. Это говорит о двух дополняющих процессах — один организует структуру предложения, другой подбирает слова. Автор считает, что эти находки помогут создавать более понятные и вычислительно эффективные ИИ-системы.