Penalaran Algoritmik Neural: Menangkap Komputasi Klasik dalam Jaringan Neural Dalam
OpenAI
Penalaran algoritmik neural bertujuan untuk memberikan jaringan neural dalam properti algoritma klasik: kebenaran yang dapat dibuktikan, generalisasi yang kuat, interpretabilitas, dan komposisionalitas. Artikel ini mengeksplorasi bagaimana jaringan neural graf (GNN) dapat dirancang untuk selaras dengan algoritma seperti Bellman-Ford, memungkinkan pembelajaran untuk mengeksekusi algoritma tersebut dan menggeneralisasi ke input yang lebih besar. Inovasi kunci meliputi paradigma encode-process-decode, agregasi maks, dan supervisi langkah-demi-langkah.
Artikel ini membahas penalaran algoritmik neural, yang berfokus pada penangkapan komputasi klasik (misalnya, pencarian jalur terpendek, pengurutan) dalam jaringan saraf dalam. Artikel ini menyoroti pentingnya penyelarasan algoritmik: merancang arsitektur neural yang secara struktural cocok dengan aliran data algoritma. Dengan menggunakan Bellman-Ford dan jaringan saraf graf (GNN) sebagai contoh, penulis menjelaskan bagaimana GNN dapat selaras dengan pemrograman dinamis. Karya penulis tentang Eksekusi Neural dari Algoritma Graf (NEGA) mengidentifikasi tiga bias induktif kunci: encode-process-decode dengan komputasi iteratif, agregasi maks untuk optimasi lokal, dan pengawasan bertahap untuk mengajarkan invarian. Perbaikan ini memungkinkan GNN untuk menggeneralisasi ke input 5 kali lebih besar. Artikel ini menelusuri garis keturunan dari mesin Turing neural hingga penyelarasan algoritmik modern, mencatat perkembangan teoretis yang sedang berlangsung dalam penyelarasan algoritmik linear, penalaran kausal, dan teori kategori.
Sumber: The Gradient —
asli