Neues Framework zur Prüfung des Maschinellen Vergessens

Google stellt ein neues Framework namens Regularized f-Divergence Kernel Tests vor, das für die Prüfung von Machine Unlearning entwickelt wurde. Machine Unlearning ermöglicht es KI-Systemen, bestimmte Teile der Trainingsdaten zu „vergessen“, ohne ein vollständiges Retraining durchzuführen. Dies ist entscheidend für die Einhaltung gesetzlicher Vorschriften (z. B. das „Recht auf Vergessenwerden“ gemäß der Datenschutz-Grundverordnung, DSGVO), für die KI-Sicherheit und die Modellqualität. Die traditionelle Verifikationsmethode ist das Zwei-Stichproben-Testen, bei dem die Ausgabeverteilungen eines Modells, das einen Datensatz nie gesehen hat, mit denen eines Modells verglichen werden, das ihn „vergessen“ hat. Mit zunehmender Modellgröße verliert diese Methode jedoch an statistischer Aussagekraft und erfordert eine große Anzahl von Stichproben, was rechenintensiv ist. Das neue Framework, das auf der 26. International Conference on Artificial Intelligence and Statistics im Jahr 2026 (AISTATS 2026) vorgestellt wurde, verwendet regularisierte Tests auf Basis von f-Divergenzen und wählt automatisch die beste Divergenz und Hyperparameter aus, wodurch manuelles Tuning entfällt. Die Autoren beweisen theoretisch, dass die Tests für jede Stichprobengröße falsch-positive Ergebnisse kontrollieren und das Risiko falsch-negativer Ergebnisse mit zunehmender Datenmenge gegen Null geht. Das Framework bietet außerdem einen relativen Drei-Stichproben-Test, der das vergessende Modell mit einem sicher neu trainierten Modell und dem ursprünglich kompromittierten Modell vergleicht, um die Unmöglichkeit einer perfekten Retrain-Äquivalenz zu adressieren. In Experimenten mit synthetischen Daten, Hochenergie-Physik-Daten (Suche nach seltenen Teilchen), der Prüfung von differenzieller Privatsphäre und der Bewertung von Vergessensmethoden übertraf das Framework die Basislinienmethoden oder erreichte mindestens deren Leistung, während es weniger Stichproben und weniger Tuning benötigte. Beispielsweise erkannte der Hockey-Stick-Divergenztest bei der Privatsphärenprüfung Verstöße im SVT3-Mechanismus mit einigen tausend Stichproben, während DP-Auditorium Millionen benötigte. Bei der Vergessensbewertung bestand nur die Methode des zufälligen Beschriftens den Test, während Finetuning, Pruning und Selective Synaptic Dampening sich als wirkungslos erwiesen. Die Autoren betonen, dass sie vereinfachte Implementierungen verwendet haben; für Produktionsumgebungen sind strengere Einstellungen erforderlich. Diese Arbeit entstand in Zusammenarbeit mit Antonín Schrab und Arthur Gretton.