Investigación 🇷🇺 23.07.2026 23:48

La autodescripción como condición para la emergencia de un signo en una red neuronal

AnthropicAnthropic
El artículo explora el papel de la autodescripción (informe) en la formación de un signo—una unidad separada y legible externamente dentro de una red neuronal. Utilizando micromodelos, el autor muestra que sin el requisito de nombrar una regla, esta no se cristaliza, aunque ocurra el cálculo. La autodescripción no refleja conocimiento ya elaborado, sino que lo constituye, transformando la red de una calculadora en un sistema de pensamiento primitivo. El mecanismo también explica la ocurrencia de alucinaciones en modelos grandes.
El autor continúa el análisis del espacio-J, abierto por Anthropic, centrándose en dos cuestiones: la posibilidad de un metasigno y la esencia de la autodescripción de la red neuronal. Los experimentos con micromodelos (cuatro capas) mostraron que no se pudo obtener un metasigno (un signo que combina varios básicos) debido a problemas de aprendibilidad y mensurabilidad; el autor sugiere que debería buscarse en una mezcla de expertos. La autodescripción, sin embargo, resultó no ser una superestructura, sino una condición para la emergencia de un signo: una red con una cabeza de informe, obligada a nombrar la regla que se está aplicando, siempre cristaliza un eje de control, mientras que sin informe nunca lo hace, y la precisión en la resolución de la tarea es la misma en ambos casos. El nombre aparece antes que la habilidad: en el epoch número mil, la regla se lee casi perfectamente, aunque la tarea principal se resuelve a nivel de aleatoriedad. Sin informe, la estructura se desintegra; con informe, persiste durante 40.000 epochs. El autor concluye que el requisito de nombrar no etiqueta algo ya hecho, sino que corta un objeto estable del flujo computacional. La expectativa de la cabeza de informe es ciega al contenido: exige una unidad presentable pero no verifica su veracidad; esto da lugar tanto al signo como a las alucinaciones. La hipótesis sobre el automodelado de la red neuronal (el informe como descripción de sus propios estados) no pudo probarse debido a las limitaciones de la micro-red; indirectamente, la divergencia entre el informe y el cómputo real la respalda.
Fuente: Habr — хаб ИИ — original
Nuestros artículos anteriores sobre este tema ↓
Noticias frescas