Der Compiler, der halluziniert: Programme direkt in neuronale Netze kompilieren

Ein Compiler übersetzt traditionell hochrangigen Code in primitive Maschinenbefehle, die auf spezifische Hardware zugeschnitten sind. Im Gegensatz dazu behandelt ein neues Paradigma neuronale Netze als Zielarchitektur: Programme, die in einer spezialisierten Sprache wie RASP geschrieben sind, werden direkt in Gewichte kompiliert, deterministisch und ohne Training. RASP, 2021 von Gail Weiss, Yoav Goldberg und Eran Yahav eingeführt, bietet zwei Hauptkonstrukte – select und aggregate –, die die Aufmerksamkeits- und Feed-Forward-Mechanismen von Transformatoren nachbilden. Im Jahr 2023 implementierte DeepMind den Tracr-Compiler, der RASP-Programme nimmt und Transformatorgewichte ausgibt, wobei der Residuenstrom als Speicher dient und disjunkte Blöcke für Variablen zugewiesen werden. Diese kompilierten Modelle sind vollständig interpretierbar: Die Position jeder Variablen und die Funktion jeder Schicht sind bekannt. Die Hauptmotivation besteht darin, Ground-Truth-Modelle für die Interpretierbarkeitsforschung zu schaffen, die als Kalibrierungsstandards für Analysetools dienen. Eine bemerkenswerte Erkenntnis ist, dass Tracrs unkomplizierte Variablenzuweisung im Vergleich zu echten Netzwerken verschwenderisch ist, die Informationen dicht überlappen, was darauf hindeutet, dass trainierte Netzwerke effizientere, aber unordentlichere Repräsentationen entwickeln.