머신 언러닝 감사를 위한 새로운 프레임워크

Google은 기계 언러닝(machine unlearning) 감사를 위해 설계된 Regularized f-Divergence Kernel Tests라는 새로운 프레임워크를 소개합니다. 기계 언러닝은 AI 시스템이 전체 재훈련 없이 훈련 데이터의 특정 부분을 '잊게' 해주는 기술로, 규제 준수(예: 일반 데이터 보호 규정(GDPR) 하의 '잊힐 권리'), AI 안전성, 모델 품질에 중요합니다. 전통적인 검증 방법은 two-sample testing으로, 해당 레코드를 본 적이 없는 모델과 이를 '잊은' 모델의 출력 분포를 비교합니다. 그러나 모델이 커질수록 이 방법은 통계적 검정력이 떨어지고 많은 수의 샘플이 필요하여 계산 비용이 많이 듭니다. 이 새로운 프레임워크는 2026년 제26회 인공지능 및 통계 국제 회의(AISTATS 2026)에서 발표되었으며, f-divergence를 기반으로 한 정규화된 테스트를 사용하고 최적의 divergence와 하이퍼파라미터를 자동으로 선택하여 수동 조정이 필요 없습니다. 저자들은 이 테스트가 모든 샘플 크기에 대해 오탐(false positives)을 통제하며, 오탐(false negatives)의 위험은 데이터가 증가함에 따라 0으로 수렴한다는 것을 이론적으로 증명했습니다. 이 프레임워크는 또한 안전하게 재훈련된 모델과 원래 훼손된 모델과의 망각 모델을 비교하는 상대적인 three-sample 테스트를 제공하여 완벽한 재훈련 동등성을 달성하는 것이 불가능한 문제를 해결합니다. 합성 데이터, 고에너지 물리 데이터(희귀 입자 탐색), 차등 프라이버시 감사, 망각 방법 평가에 대한 실험에서 이 프레임워크는 기준 방법을 능가하거나 동등한 성능을 보이면서 더 적은 샘플과 튜닝을 필요로 했습니다. 예를 들어, 프라이버시 감사에서 hockey-stick divergence 테스트는 SVT3 메커니즘의 위반을 수천 개의 샘플로 감지한 반면, DP-Auditorium은 수백만 개가 필요했습니다. 망각 평가에서는 오직 무작위 레이블 방법만 테스트를 통과했으며, 미세 조정, 가지치기, Selective Synaptic Dampening은 효과가 없는 것으로 나타났습니다. 저자들은 단순화된 구현을 사용했으며, 프로덕션 환경에서는 더 엄격한 설정이 필요하다고 강조합니다. 이 작업은 Antonín Schrab 및 Arthur Gretton과 공동으로 수행되었습니다.