Raisonnement algorithmique neuronal : capturer le calcul classique dans les réseaux de neurones profonds
OpenAI
Le raisonnement algorithmique neuronal vise à conférer aux réseaux de neurones profonds les propriétés des algorithmes classiques : exactitude prouvable, forte généralisation, interprétabilité et compositionnalité. Cet article explore comment les réseaux de neurones à graphes (GNN) peuvent être conçus pour s'aligner sur des algorithmes comme Bellman-Ford, permettant d'apprendre à exécuter de tels algorithmes et de généraliser à des entrées plus grandes. Parmi les innovations clés figurent le paradigme encode-process-décode, l'agrégation max et une supervision par étapes.
L'article traite du raisonnement algorithmique neuronal, en se concentrant sur la capture du calcul classique (par exemple, la recherche du plus court chemin, le tri) dans les réseaux de neurones profonds. Il souligne l'importance de l'alignement algorithmique : concevoir des architectures neuronales qui correspondent structurellement au flux de données de l'algorithme. En utilisant Bellman-Ford et les réseaux de neurones graphiques (GNN) comme exemple, l'auteur explique comment les GNN peuvent s'aligner sur la programmation dynamique. Les travaux de l'auteur sur l'exécution neuronale des algorithmes de graphes (NEGA) identifient trois biais inductifs clés : le codage-traitement-décodage avec un calcul itératif, l'agrégation max pour l'optimisation locale, et la supervision étape par étape pour enseigner les invariants. Ces améliorations permettent aux GNN de généraliser à des entrées 5 fois plus grandes. L'article retrace la lignée des machines de Turing neuronales à l'alignement algorithmique moderne, notant les développements théoriques en cours dans l'alignement algorithmique linéaire, le raisonnement causal et la théorie des catégories.
Source: The Gradient —
original