Kääntäjä, joka hallusinoi: ohjelmien kääntäminen suoraan neuroverkkojen painoiksi

Kääntäjä kääntää perinteisesti korkean tason koodin primitiivisiksi konekäskyiksi, jotka on räätälöity tiettyyn laitteistoon. Sen sijaan uusi paradigma käsittelee neuroverkkoja kohdearkkitehtuurina: erikoistuneella kielellä, kuten RASP:lla, kirjoitetut ohjelmat käännetään suoraan painoiksi, deterministisesti ja ilman koulutusta. RASP, jonka esittelivät vuonna 2021 Gail Weiss, Yoav Goldberg ja Eran Yahav, tarjoaa kaksi päärakennetta – valinnan (select) ja aggregaatin (aggregate) – jotka vastaavat transformereiden attention- ja feed-forward-mekanismeja. Vuonna 2023 DeepMind toteutti Tracr-kääntäjän, joka ottaa RASP-ohjelmat ja tuottaa transformer-painot käyttäen jäännösvirtaa muistina ja jakamalla muuttujille päällekkäiset lohkot. Nämä käännetyt mallit ovat täysin tulkittavissa: jokaisen muuttujan sijainti ja kunkin kerroksen toiminta tunnetaan. Ensisijainen motivaatio on luoda totuudenmukaisia malleja tulkittavuustutkimukseen, jotka toimivat kalibrointistandardeina analyysityökaluille. Merkittävä havainto on, että Tracrin suoraviivainen muuttujien allokointi on tuhlailevaa verrattuna oikeisiin verkkoihin, jotka tallentavat tietoa tiiviisti päällekkäin, mikä viittaa siihen, että koulutetut verkot kehittävät tehokkaampia mutta sekavampia esityksiä.