MosaicLeaks: Datenlecks durch ForschungskI-Agenten und die PA-DR-Methode zur Verhinderung
Tiefgehende Forschungsagenten, die private lokale Dokumente mit externen Tools wie Websuche kombinieren, können über ihre Anfragen sensible Informationen preisgeben. Ein neuer Benchmark, MosaicLeaks, misst dieses Risiko, und eine Trainingsmethode namens PA-DR reduziert die Datenlecks von 34% auf 9,9%, während die Aufgabenleistung erhalten bleibt.
MosaicLeaks ist ein von Forschern entwickelter Benchmark, um die Privatsphäre-Leakage bei Deep-Research-Agenten zu untersuchen, die private lokale Dokumente mit öffentlicher Websuche kombinieren. Er enthält 1.001 mehrstufige Fragenketten, bei denen Agenten Fragen beantworten müssen, die private und öffentliche Informationen verknüpfen. Tests zeigten, dass Agenten häufig private Daten über ihre Webabfragen preisgeben, und dass Training allein auf die Aufgabenleistung die Leakage verschlimmerte (von 34% auf 51,7%). Die vorgeschlagene Methode Privacy-Aware Deep Research (PA-DR) kombiniert eine situative Aufgabenbelohnung mit einer erlernten Privatsphäre-Belohnung und reduziert die Vollinformations-Leakage auf 9,9%, während der strikte Ketten-Erfolg mit 58,7% nahe an den 59,3% liegt, die durch reines Aufgaben-Training erreicht werden. PA-DR verbessert auch die Stichprobeneffizienz und benötigt 5- bis 6-mal weniger generierte Stichproben, um die gleiche Aufgabenleistung zu erreichen wie reines Reinforcement Learning mit Ergebnis-Belohnung.
Quelle: Hugging Face blog —
Original