SPEX und ProxySPEX: Methoden zur Identifizierung einflussreicher Interaktionen in LLMs im großen Maßstab
OpenAI
Forscher von BAIR (Berkeley AI) stellten SPEX und ProxySPEX vor – Algorithmen, die in der Lage sind, kritische Interaktionen zwischen Merkmalen, Daten und Komponenten von KI-Modellen, einschließlich Large Language Models (LLMs), um Größenordnungen schneller zu identifizieren als bestehende Methoden. Die Verfahren basieren auf der Idee der Sparsität einflussreicher Interaktionen und nutzen Techniken aus der Kodierungstheorie und Signalverarbeitung. Die Anwendung von SPEX zeigte, dass Standard-Attributionsmethoden (zum Beispiel SHAP) komplexe Synergien übersehen können, wie im Fall des Trolley-Problems. ProxySPEX, das die Eigenschaft der Hierarchie ausnutzt, erreicht die gleiche Genauigkeit mit etwa zehnmal weniger Ablationen.
Forscher des BAIR (Berkeley Artificial Intelligence Research) haben die Algorithmen SPEX und ProxySPEX entwickelt, um einflussreiche Interaktionen zwischen Komponenten komplexer Systeme des maschinellen Lernens, einschließlich großer Sprachmodelle (Large Language Models, LLMs), zu identifizieren. Die Herausforderung besteht darin, dass die Anzahl potenzieller Interaktionen exponentiell mit der Anzahl der Merkmale, Datenpunkte oder internen Komponenten wächst, was eine erschöpfende Aufzählung rechnerisch unmöglich macht. SPEX nutzt Sparsity- und Niedriggrad-Annahmen: Die Anzahl der wirklich einflussreichen Interaktionen ist gering, und sie betreffen nur eine kleine Teilmenge der Elemente. Durch den Einsatz strategisch ausgewählter Ablationen und Algorithmen zur Wiederherstellung dünn besetzter Strukturen aus der Codierungstheorie identifiziert SPEX diese Interaktionen effizient. ProxySPEX nutzt zusätzlich die Hierarchie: Wenn eine Interaktion höherer Ordnung wichtig ist, sind auch ihre Untermengen niedrigerer Ordnung wichtig, was die Anzahl der Ablationen im Vergleich zu SPEX um etwa das Zehnfache reduziert. Bei Merkmalszuschreibungsaufgaben übertraf SPEX bestehende Methoden bei langen Kontexten (tausende von Merkmalen). Beispielsweise führte die Standardmethode SHAP in einem modifizierten "Trolley-Problem" die falsche Antwort von GPT-4o mini auf einzelne Wörter wie "Trolley" zurück, während SPEX die Synergie zwischen zwei Vorkommen von "Trolley" mit "Pulling" und "Lever" identifizierte; das Ersetzen dieser vier Wörter durch Synonyme senkte die Fehlerrate des Modells auf nahezu Null. Bei der Datenzuschreibung hob ProxySPEX erfolgreich synergistische und redundante Interaktionen zwischen Trainingsbeispielen für ResNet auf CIFAR-10 hervor. In der mechanistischen Interpretierbarkeit (Komponentenzuschreibung) zeigte die Methode, wie Attention-Heads in verschiedenen LLM-Schichten interagieren, und verbesserte die Leistung des Zielmodells nach dem Pruning im Vergleich zu anderen Methoden. Der Code für SPEX und ProxySPEX ist im SHAP-IQ-Repository verfügbar.
Quelle: BAIR (Berkeley AI) —
Original