Kerangka Baru untuk Mengaudit Pembelajaran Mesin yang Dilupakan

Google memperkenalkan kerangka kerja baru bernama Regularized f-Divergence Kernel Tests, yang dirancang untuk mengaudit mesin pelupa (machine unlearning). Mesin pelupa memungkinkan sistem AI untuk "melupakan" bagian tertentu dari data pelatihan tanpa pelatihan ulang penuh, yang sangat penting untuk kepatuhan regulasi (misalnya, "hak untuk dilupakan" berdasarkan Peraturan Perlindungan Data Umum, GDPR), keamanan AI, dan kualitas model. Metode verifikasi tradisional adalah pengujian dua sampel, yang membandingkan distribusi keluaran dari model yang tidak pernah melihat catatan dan model yang telah "melupakannya". Namun, seiring dengan pertumbuhan model, metode ini kehilangan kekuatan statistik dan membutuhkan jumlah sampel yang sangat besar, sehingga mahal secara komputasi. Kerangka kerja baru, yang dipresentasikan pada Konferensi Internasional tentang Kecerdasan Buatan dan Statistik ke-26 pada tahun 2026 (AISTATS 2026), menggunakan uji terregulasi berdasarkan f-divergensi dan secara otomatis memilih divergensi serta hiperparameter terbaik, menghilangkan kebutuhan penyesuaian manual. Para penulis secara teori membuktikan bahwa uji tersebut mengendalikan positif palsu untuk ukuran sampel apa pun, dan risiko negatif palsu cenderung nol dengan meningkatnya data. Kerangka kerja ini juga menawarkan uji tiga sampel relatif yang membandingkan model pelupa dengan model yang dilatih ulang dengan aman dan model kompromi asli, mengatasi ketidakmungkinan mencapai kesetaraan pelatihan ulang yang sempurna. Dalam eksperimen pada data sintetis, data fisika energi tinggi (pencarian partikel langka), audit privasi diferensial, dan evaluasi metode pelupa, kerangka kerja ini mengungguli atau menyamai metode dasar sambil membutuhkan lebih sedikit sampel dan penyesuaian. Misalnya, dalam audit privasi, uji divergensi hoki (hockey-stick divergence test) mendeteksi pelanggaran dalam mekanisme SVT3 menggunakan beberapa ribu sampel, sedangkan DP-Auditorium membutuhkan jutaan. Dalam evaluasi pelupa, hanya metode label acak yang lulus uji, sementara penyetelan halus, pemangkasan, dan Selective Synaptic Dampening terbukti tidak efektif. Para penulis menekankan bahwa mereka menggunakan implementasi yang disederhanakan; pengaturan yang lebih ketat diperlukan untuk lingkungan produksi. Pekerjaan ini dilakukan bersama dengan Antonín Schrab dan Arthur Gretton.