MosaicLeaks: утечка данных через исследовательских ИИ-агентов и метод PA-DR для её предотвращения
Глубокие исследовательские агенты, которые объединяют частные локальные документы с внешними инструментами, такими как веб-поиск, могут допускать утечку конфиденциальной информации через свои запросы. Новый бенчмарк MosaicLeaks измеряет этот риск, а метод обучения PA-DR снижает утечку с 34% до 9,9%, сохраняя при этом производительность задач.
MosaicLeaks — это бенчмарк, разработанный исследователями для изучения утечек приватности при работе агентов глубокого поиска, которые чередуют доступ к личным локальным документам и публичный веб-поиск. Он содержит 1001 цепочку многошаговых вопросов, где агенты должны отвечать на вопросы, объединяющие приватную и публичную информацию. Тестирование показало, что агенты часто раскрывают приватные
Показать ещё ↓
Источник: Hugging Face blog —
оригинал