De Compiler Die Hallucineert: Programma's Rechtstreeks in Neurale Netwerkgewichten Compileren

Een compiler vertaalt traditioneel hoog-niveau code naar primitieve machine-instructies die zijn afgestemd op specifieke hardware. Daarentegen behandelt een nieuw paradigma neurale netwerken als doelarchitectuur: programma's geschreven in een gespecialiseeerde taal zoals RASP worden direct gecompileerd naar gewichten, deterministisch en zonder training. RASP, geïntroduceerd in 2021 door Gail Weiss, Yoav Goldberg en Eran Yahav, biedt twee hoofdconstructies - select en aggregate - die de aandachts- en feed-forward mechanismen van transformers weerspiegelen. In 2023 implementeerde DeepMind de Tracr-compiler, die RASP-programma's neemt en transformer-gewichten produceert, met behulp van de residustroom als geheugen en het toewijzen van onsamenhangende stukken voor variabelen. Deze gecompileerde modellen zijn volledig interpreteerbaar: de locatie van elke variabele en de functie van elke laag zijn bekend. De primaire motivatie is om grondwaarheidsmodellen te creëren voor interpreteerbaarheidsonderzoek, die dienen als kalibratiestandaarden voor analysetools. Een opmerkelijke bevinding is dat Tracr's eenvoudige variabelentoewijzing verspillend is vergeleken met echte netwerken, die informatie dicht overlappen, wat suggereert dat getrainde netwerken efficiëntere maar rommeligere representaties ontwikkelen.