Neuraalinen algoritminen päättely: klassisen laskennan vangitseminen syvissä neuroverkoissa
OpenAI
Neuraalinen algoritminen päättely pyrkii antamaan syville neuroverkoille klassisten algoritmien ominaisuuksia: todistettavaa oikeellisuutta, vahvaa yleistymistä, tulkittavuutta ja kompositionaalisuutta. Tämä artikkeli tutkii, miten graafineuroverkot (GNN) voidaan suunnitella vastaamaan algoritmeja, kuten Bellman-Fordia, mahdollistaen oppimisen suorittamaan tällaisia algoritmeja ja yleistymään suurempiin syötteisiin. Keskeisiä innovaatioita ovat encode-process-decode-paradigma, maksimiaggregaatio ja askelkohtainen ohjaus.
Artikkelissa käsitellään neuroalgoritmista päättelyä, joka keskittyy klassisen laskennan (esimerkiksi lyhimmän polun löytämisen, lajittelun) vangitsemiseen syvissä neuroverkoissa. Siinä korostetaan algoritmisen kohdistuksen tärkeyttä: neuroarkkitehtuurien suunnittelua siten, että ne rakenteellisesti vastaavat algoritmin tiedonkulkua. Esimerkkinä käytetään Bellman-Ford-algoritmia ja graafineuroverkkoja (GNN), ja kirjoittaja selittää, kuinka GNN:t voivat kohdistua dynaamiseen ohjelmointiin. Kirjoittajan työ graafialgoritmien neurosuorituksesta (NEGA) tunnistaa kolme keskeistä induktiivista harhaa: koodaa-prosessoi-dekoodaa -rakenne iteratiivisella laskennalla, max-aggregointi paikalliseen optimointiin ja vaiheittainen ohjaus invarianttien opettamiseksi. Nämä parannukset mahdollistavat GNN:ien yleistymisen viisi kertaa suuremmille syötteille. Artikkeli jäljittää kehityksen neuroturinginkoneista nykyaikaiseen algoritmiseen kohdistukseen ja huomioi meneillään olevat teoreettiset kehitykset lineaarisessa algoritmisessa kohdistuksessa, kausaalisessa päättelyssä ja kategoriteoriassa.
Lähde: The Gradient —
Alkuperäinen