ニューラルアルゴリズミック推論：ディープニューラルネットワークにおける古典計算の実現
OpenAI
ニューラルアルゴリズミック推論（Neural Algorithmic Reasoning）は、ディープニューラルネットワークに古典的アルゴリズムの特性、すなわち証明可能な正確性、優れた汎化性能、解釈可能性、そして合成可能性を付与することを目的としています。本稿では、グラフニューラルネットワーク（Graph Neural Networks、GNN）をBellman-Fordなどのアルゴリズムに整合するように設計することで、そのようなアルゴリズムの実行を学習し、より大きな入力にも汎化できるようにする方法を探求します。主要な革新として、エンコード・プロセス・デコードのパラダイム、最大集約（max aggregation）、およびステップ単位の教師信号が挙げられます。
この記事は、ニューラルアルゴリズム推論について論じており、古典的な計算（例えば、最短経路探索、ソーティング）をディープニューラルネットワークで捉えることに焦点を当てています。アルゴリズム的アライメントの重要性、すなわち、アルゴリズムのデータフローに構造的に一致するニューラルアーキテクチャを設計することの重要性を強調しています。ベルマン・フォード法とグラフニューラルネットワーク（GNN）を例に、GNNが動的計画法と整合し得ることを説明しています。著者のグラフアルゴリズムのニューラル実行（NEGA）に関する研究は、エンコード・プロセス・デコードと反復計算、局所最適化のための最大集約、不変量を教えるためのステップ単位の監視という3つの重要な帰納的バイアスを特定しています。これらの改善により、GNNは5倍大きな入力に一般化できます。この記事は、ニューラルチューリングマシンから現代のアルゴリズム的アライメントまでの系譜をたどり、線形アルゴリズム的アライメント、因果推論、圏論における進行中の理論的発展に言及しています。
出典: The Gradient —
原文