Wo LLMs Fakten speichern: Den Eiffelturm von Paris nach Rom verlegen
OpenAI
Forschende testeten die ROME-Methode an GPT-2 XL, um ein bestimmtes Faktum in den Gewichten des Modells zu ändern: die Verlegung des Eiffelturms von Paris nach Rom. Das Experiment bestätigte, dass die Änderung über mehrere Formulierungen hinweg funktioniert und dass benachbarte Fakten intakt bleiben. Dies zeigt, wie parametrisches Wissen gezielt verändert werden kann, ohne ein vollständiges erneutes Training durchzuführen.
In einem Experiment wurde die Methode ROME (Rank-One Model Editing) auf das Modell GPT-2 XL angewendet, um die Tatsache zu ändern, dass der Eiffelturm in Paris steht, hin zu Rom. Das Modell mit 1,56 Milliarden Parametern wurde ausgewählt, weil seine Gewichte öffentlich zugänglich sind und es von der ursprünglichen ROME-Implementierung unterstützt wird. Vor der Bearbeitung bevorzugte das Modell bei mehreren Aufforderungen durchgängig Paris, mit Wahrscheinlichkeiten zwischen 2 % und 49 %. Nach einer gezielten Bearbeitung verlagerte das Modell seine Präferenz in allen getesteten Formulierungen auf Rom, und andere Fakten über den Eiffelturm blieben unverändert. Die Methode modifiziert eine Matrix im Feed-Forward-Netzwerk (FFN), das als assoziatives Gedächtnis für Fakten fungiert. Das Experiment zeigte auch, dass Fakten nicht als diskrete Neuronen gespeichert sind, sondern über das Netzwerk verteilt sind, und dass ROME eine bestimmte Assoziation ohne vollständiges Nachtraining anpassen kann. Schließlich wurden die ursprünglichen Gewichte wiederhergestellt, was bestätigte, dass die Bearbeitung umkehrbar war.
Quelle: Habr — хаб ИИ —
Original