Обнаружение глобального рабочего пространства в языковых моделях на примере Claude

Исследователи Anthropic обнаружили у языковой модели Claude особую совокупность внутренних нейронных паттернов — J-пространство, которое играет роль «рабочего пространства» для сознательного доступа к мыслям. Это пространство не было запрограммировано, а возникло само в процессе обучения. J-пространство позволяет модели сообщать о своих внутренних репрезентациях, модулировать их по запросу и использовать для внутренних рассуждений, что напоминает теорию глобального рабочего пространства в нейробиологии.

Anthropic

Скрытая грамматика языковых моделей: три открытия о структуре генерации текста

Автор провёл двухлетнее исследование внутренней структуры языковых моделей и обнаружил, что генерация текста следует стабильным грамматическим путям, модели строят внутреннюю карту направления предложения, а неопределённость возникает лишь на поздних этапах выбора конкретных слов.

OpenAI