MosaicLeaks : fuite de données via les agents IA de recherche et la méthode PA-DR pour la prévenir
Les agents de recherche approfondie qui combinent des documents privés locaux avec des outils externes comme la recherche web peuvent divulguer des informations sensibles via leurs requêtes. Un nouveau benchmark, MosaicLeaks, mesure ce risque, et une méthode d'entraînement appelée PA-DR réduit les fuites de 34 % à 9,9 % tout en maintenant les performances des tâches.
MosaicLeaks est un benchmark créé par des chercheurs pour étudier les fuites de confidentialité des agents de recherche approfondie qui entrelacent des documents locaux privés et des recherches web publiques. Il contient 1 001 chaînes de questions à étapes multiples où les agents doivent répondre à des questions faisant le lien entre informations privées et publiques. Les tests ont montré que les agents divulguent fréquemment des données privées via leurs requêtes web, et que l'entraînement uniquement axé sur la performance de la tâche aggravait les fuites (de 34 % à 51,7 %). La méthode proposée, Privacy-Aware Deep Research (PA-DR), combine une récompense de tâche situationnelle avec une récompense de confidentialité apprise, réduisant les fuites de réponses et d'informations complètes à 9,9 % tout en maintenant un taux de succès strict de la chaîne à 58,7 % (proche des 59,3 % obtenus par l'entraînement uniquement axé sur la tâche). PA-DR améliore également l'efficacité de l'échantillonnage, nécessitant 5 à 6 fois moins d'échantillons générés pour atteindre la même performance de tâche que l'apprentissage par renforcement basé uniquement sur les résultats.
Source: Hugging Face blog —
original