Neuer Weg für LLM-Interpretierbarkeit: Gewichtsdekomposition mit Datenkosten unter 1%

Das IQuest Research Institute schlägt zusammen mit Kooperationspartnern vom Safe AI Forum, der University of Oxford, der Stanford University und der Tsinghua University einen neuen Ansatz zur mechanistischen Interpretierbarkeit großer Sprachmodelle vor, genannt Sparse Weight Decomposition (SWD). Anstatt ein separates spärlich repräsentierendes Netzwerk zu trainieren, um die Schichten eines Modells anzunähern, zerlegt SWD direkt eine dichte Gewichtsmatrix in zwei spärliche Matrizen A und B, wobei die gemeinsamen intermediären Dimensionen zu Engpasseinheiten werden, die unabhängig bewertet, ausgewählt und ablatiert werden können. Dies ermöglicht es Forschenden, Aufgaben-Schaltkreise direkt aus den Gewichten zu extrahieren. In Einzelmatrix-Experimenten, die die Ersetzungstreue abgleichen, benötigt SWD weniger als 1 % der Daten, die für trainierte Basislinien wie Transcoder erforderlich sind. Bei GPT-2, Qwen2.5 und Qwen3.5-27B erreicht SWD typischerweise dieselben Suffizienz- und Notwendigkeitsziele mit weniger Engpasseinheiten und aktiven Verbindungen. Die Methode skaliert auf 27B-Modelle und deckt alle 48 Aufmerksamkeits- und MLP-Gewichtsmatrizen von GPT-2 Small ab, mit einer Null-Daten-Version, die keinen Kalibrierungstext benötigt. Der Bericht zeigt, dass SWD bei GPT-2 Small mit nur einigen tausend Kalibrierungstokens eine niedrige CE-Delta erreicht, während trainierte Basislinien etwa 10^6 Tokens benötigen. Die vollständige Modellersetzung bei GPT-2 Small mit SWD-FT reduziert die CE von 3,90 auf 3,44 bei gleicher Anzahl von Verbindungen und verwendet etwa 20,6 Millionen Tokens im Vergleich zu 2,884 Milliarden für eine spärlich vortrainierte Basislinie. Die semantische Analyse von hochrangigen Engpasseinheiten bei der GreaterThan-Aufgabe zeigt, dass vier von sechs Einheiten auf Zahlen, Jahre, Mengen oder Maße reagieren. Ein gezieltes Editier-Experiment an einer einzelnen Einheit (c205) erhöhte die Logit-Marge für die korrekte Antwort um 0,216 mit minimalen Nebenwirkungen, was zeigt, dass SWD-abgeleitete Richtungen für präzise Verhaltenskontrolle genutzt werden können.