MosaicLeaks: утечка данных через исследовательских ИИ-агентов и метод PA-DR для её предотвращения
Новый бенчмарк MosaicLeaks показал, что глубокие исследовательские агенты часто «сливают» конфиденциальную информацию через веб-запросы, даже если каждый запрос по отдельности безобиден. Обучение только продуктивности ухудшает ситуацию, а предложенный метод PA-DR (Privacy-Aware Deep Research) снижает утечку с 34% до 9,9%, сохраняя продуктивность.
Исследователи представили MosaicLeaks — бенчмарк для оценки утечки приватных данных через веб-запросы ИИ-агентов. В основе лежит «эффект мозаики»: каждый отдельный запрос может казаться безобидным, но в совокупности они позволяют восстановить конфиденциальную информацию (например, дату миграции облачной инфраструктуры). MosaicLeaks содержит 1001 цепочку из локальных и веб-вопросов, где ответ на
Показать ещё ↓
- Сокращения
- PA-DR = Privacy-Aware Deep Research — Исследовательский агент с учётом приватности
- RL = Reinforcement Learning — обучение с подкреплением
Источник: Hugging Face blog —
оригинал