Nieuw raamwerk voor het auditen van machinaal afleren

Google introduceert een nieuw raamwerk genaamd Regularized f-Divergence Kernel Tests, ontworpen voor het auditen van machine unlearning. Machine unlearning stelt AI-systemen in staat om specifieke delen van trainingsdata te 'vergeten' zonder volledige hertraining, wat cruciaal is voor regelgevingsnaleving (bijvoorbeeld het 'recht om vergeten te worden' onder de Algemene Verordening Gegevensbescherming, AVG), AI-veiligheid en modelkwaliteit. De traditionele verificatiemethode is two-sample testing, die de outputdistributies vergelijkt van een model dat nooit een record heeft gezien en een model dat het 'vergeten' heeft. Naarmate modellen echter groter worden, verliest deze methode statistische kracht en vereist ze een groot aantal samples, wat deze computationeel duur maakt. Het nieuwe raamwerk, gepresenteerd op de 26e Internationale Conferentie over Kunstmatige Intelligentie en Statistiek in 2026 (AISTATS 2026), gebruikt geregulariseerde tests op basis van f-divergenties en selecteert automatisch de beste divergentie en hyperparameters, waardoor handmatige afstemming overbodig wordt. De auteurs bewijzen theoretisch dat de tests fout-positieven controleren voor elke steekproefomvang, en dat het risico op fout-negatieven naar nul neigt met toenemende data. Het raamwerk biedt ook een relatieve drie-sample test die het vergetende model vergelijkt met een veilig hertraind model en het oorspronkelijke gecompromitteerde model, waarmee de onmogelijkheid wordt aangepakt om perfecte hertrainingsgelijkheid te bereiken. In experimenten op synthetische data, hoge-energiefysica-data (zoektocht naar zeldzame deeltjes), auditing van differentiële privacy en evaluatie van vergeetmethoden, overtrof of evenaarde het raamwerk de basislijnmethoden, terwijl het minder samples en minder afstemming vereiste. Bijvoorbeeld, in privacy-auditing detecteerde de hockey-stick divergentietest schendingen in het SVT3-mechanisme met enkele duizenden samples, terwijl DP-Auditorium miljoenen nodig had. In vergeetevaluatie slaagde alleen de willekeurige labelmethode voor de test, terwijl finetuning, pruning en Selective Synaptic Dampening ineffectief bleken. De auteurs benadrukken dat ze vereenvoudigde implementaties hebben gebruikt; strengere instellingen zijn nodig voor productieomgevingen. Dit werk is gezamenlijk uitgevoerd met Antonín Schrab en Arthur Gretton.