Raciocínio Algorítmico Neural: Capturando Computação Clássica em Redes Neurais Profundas
OpenAI
O raciocínio algorítmico neural visa imbuir redes neurais profundas com propriedades de algoritmos clássicos: correção comprovável, forte generalização, interpretabilidade e composicionalidade. Este artigo explora como redes neurais de grafos (GNNs) podem ser projetadas para se alinhar a algoritmos como Bellman-Ford, permitindo aprender a executar tais algoritmos e generalizar para entradas maiores. Inovações-chave incluem o paradigma codificar-processar-decodificar, agregação máxima e supervisão passo a passo.
O artigo discute raciocínio algorítmico neural, focando em capturar computação clássica (por exemplo, busca de caminho mais curto, ordenação) em redes neurais profundas. Ele destaca a importância do alinhamento algorítmico: projetar arquiteturas neurais que correspondam estruturalmente ao fluxo de dados do algoritmo. Usando Bellman-Ford e redes neurais de grafos (GNNs) como exemplo, o autor explica como GNNs podem se alinhar com programação dinâmica. O trabalho do autor sobre Execução Neural de Algoritmos de Grafos (NEGA) identifica três vieses indutivos principais: codificar-processar-decodificar com computação iterativa, agregação máxima para otimização local e supervisão passo a passo para ensinar invariantes. Essas melhorias permitem que GNNs generalizem para entradas 5 vezes maiores. O artigo traça a linhagem das máquinas neurais de Turing ao alinhamento algorítmico moderno, notando desenvolvimentos teóricos contínuos em alinhamento algorítmico linear, raciocínio causal e teoria das categorias.
Fonte: The Gradient —
original