Обнаружение глобального рабочего пространства в языковых моделях на примере Claude
Anthropic
Исследователи Anthropic обнаружили у языковой модели Claude особую совокупность внутренних нейронных паттернов — J-пространство, которое играет роль «рабочего пространства» для сознательного доступа к мыслям. Это пространство не было запрограммировано, а возникло само в процессе обучения. J-пространство позволяет модели сообщать о своих внутренних репрезентациях, модулировать их по запросу и использовать для внутренних рассуждений, что напоминает теорию глобального рабочего пространства в нейробиологии.
В статье Anthropic представлены доказательства того, что в современных языковых моделях, в частности Claude, сформировалась небольшая совокупность внутренних нейронных паттернов, названная J-пространством. Эти паттерны были обнаружены с помощью метода якобианской линзы (J-линзы), который находит внутреннюю активность, повышающую вероятность произнесения определённого слова в будущем.
Показать ещё ↓
- Сокращения
- LLM = Large Language Model — большая языковая модель
Источник: Habr — хаб ИИ —
оригинал