Razonamiento Algorítmico Neuronal: Capturando la Computación Clásica en Redes Neuronales Profundas
OpenAI
El razonamiento algorítmico neuronal tiene como objetivo dotar a las redes neuronales profundas de las propiedades de los algoritmos clásicos: corrección demostrable, fuerte generalización, interpretabilidad y componibilidad. Este artículo explora cómo las redes neuronales de grafos (GNN, por sus siglas en inglés) pueden diseñarse para alinearse con algoritmos como Bellman-Ford, permitiendo aprender a ejecutar dichos algoritmos y generalizar a entradas más grandes. Las innovaciones clave incluyen el paradigma de codificar-procesar-decodificar, la agregación máxima y la supervisión paso a paso.
El artículo analiza el razonamiento algorítmico neuronal, centrándose en la captura de la computación clásica (por ejemplo, la búsqueda de rutas más cortas, la clasificación) en redes neuronales profundas. Destaca la importancia de la alineación algorítmica: diseñar arquitecturas neuronales que coincidan estructuralmente con el flujo de datos del algoritmo. Usando Bellman-Ford y las redes neuronales de grafos (GNN) como ejemplo, el autor explica cómo las GNN pueden alinearse con la programación dinámica. El trabajo del autor sobre Ejecución Neuronal de Algoritmos de Grafos (NEGA) identifica tres sesgos inductivos clave: codificar-procesar-decodificar con cómputo iterativo, agregación máxima para la optimización local, y supervisión paso a paso para enseñar invariantes. Estas mejoras permiten que las GNN generalicen a entradas cinco veces más grandes. El artículo rastrea el linaje desde las máquinas neuronales de Turing hasta la alineación algorítmica moderna, señalando desarrollos teóricos en curso en alineación algorítmica lineal, razonamiento causal y teoría de categorías.
Fuente: The Gradient —
original