神经算法推理：在深度神经网络中捕捉经典计算

这篇文章讨论了神经算法推理，重点是捕捉深度神经网络中的经典计算（例如，最短路径查找、排序）。它强调了算法对齐的重要性：设计神经网络架构，使其在结构上与算法的数据流相匹配。以贝尔曼-福德算法和图神经网络为例，作者解释了GNN如何与动态规划对齐。作者在《图算法的神经执行》中确定了三个关键的归纳偏置：编码-处理-解码与迭代计算、用于局部优化的最大聚合，以及逐步监督以教导不变量。这些改进使GNN能够泛化到5倍大的输入。文章追溯了从神经图灵机到现代算法对齐的发展脉络，并注意到线性算法对齐、因果推理和范畴论等领域正在进行的理论发展。