신경 알고리즘 추론: 심층 신경망에서 고전적 계산 포착

이 기사는 신경 알고리즘 추론(neural algorithmic reasoning)에 대해 논의하며, 최단 경로 찾기, 정렬과 같은 고전적 계산을 심층 신경망에 포착하는 데 초점을 맞춥니다. 알고리즘 정렬(algorithmic alignment), 즉 알고리즘의 데이터 흐름과 구조적으로 일치하는 신경 아키텍처를 설계하는 것의 중요성을 강조합니다. 벨만-포드(Bellman-Ford) 알고리즘과 그래프 신경망(GNN)을 예로 들어, GNN이 동적 프로그래밍과 정렬될 수 있는 방법을 설명합니다. 저자는 그래프 알고리즘의 신경 실행(NEGA)에 대한 연구에서 세 가지 핵심 귀납적 편향을 식별합니다: 반복 계산을 포함한 인코딩-처리-디코딩(encode-process-decode), 지역 최적화를 위한 최대 집계(max aggregation), 그리고 불변식을 가르치기 위한 단계별 감독(step-wise supervision)입니다. 이러한 개선을 통해 GNN이 5배 더 큰 입력으로 일반화할 수 있습니다. 이 기사는 신경 튜링 머신에서 현대의 알고리즘 정렬까지의 계보를 추적하며, 선형 알고리즘 정렬, 인과 추론, 범주론에 대한 지속적인 이론적 발전에 주목합니다.