Самоописание как условие возникновения знака в нейросети
Anthropic
В статье исследуется роль самоописания (репорта) в формировании знака — обособленной, читаемой извне единицы внутри нейросети. Автор на микромоделях показывает, что без требования назвать правило оно не кристаллизуется, хотя вычисление идёт. Самоописание не отражает готовое знание, а конституирует его, превращая сеть из калькулятора в примитивную мыслящую систему. Механизм также объясняет появление галлюцинаций в больших моделях.
Автор продолжает разбор J-space, открытого Anthropic, и фокусируется на двух вопросах: возможность метазнака и суть самоописания нейросети. Эксперименты на микромоделях (четыре слоя) показали, что метазнак — знак, объединяющий несколько базовых, — получить не удалось из-за проблем с обучаемостью и измеримостью; автор предполагает, что его нужно искать в смеси экспертов. Самоописание же оказалось
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал