MosaicLeaks: Kebocoran Data Melalui Agen AI Riset dan Metode PA-DR untuk Mencegahnya

MosaicLeaks adalah sebuah tolok ukur yang dibuat oleh para peneliti untuk mempelajari kebocoran privasi dari agen riset mendalam yang menggabungkan dokumen lokal pribadi dan pengambilan informasi web publik. Tolok ukur ini berisi 1.001 rantai pertanyaan multi-langkah di mana agen harus menjawab pertanyaan yang menghubungkan informasi privat dan publik. Pengujian menunjukkan bahwa agen sering kali membocorkan data pribadi melalui kueri web mereka, dan pelatihan yang hanya berfokus pada kinerja tugas justru memperparah kebocoran (dari 34% menjadi 51,7%). Metode yang diusulkan, yaitu Privacy-Aware Deep Research (PA-DR), menggabungkan imbalan tugas situasional dengan imbalan privasi yang dipelajari, mengurangi kebocoran jawaban/informasi penuh menjadi 9,9% sambil mempertahankan keberhasilan rantai ketat sebesar 58,7% (mendekati 59,3% yang dicapai oleh pelatihan hanya tugas). PA-DR juga meningkatkan efisiensi sampel, membutuhkan 5-6 kali lebih sedikit sampel yang dihasilkan untuk mencapai kinerja tugas yang sama dibandingkan dengan pembelajaran penguatan yang hanya berfokus pada hasil.