MosaicLeaks: Tietovuotoja tutkimus-AI-agenttien kautta ja PA-DR-menetelmä niiden estämiseksi
Syvät tutkimusagentit, jotka yhdistävät yksityisiä paikallisia dokumentteja ulkoisiin työkaluihin, kuten verkkohakuun, voivat vuotaa arkaluonteisia tietoja kyselyidensä kautta. Uusi vertailuarvio, MosaicLeaks, mittaa tätä riskiä, ja koulutusmenetelmä nimeltä PA-DR vähentää vuotoja 34 prosentista 9,9 prosenttiin säilyttäen samalla tehtävän suorituskyvyn.
MosaicLeaks on tutkijoiden kehittämä vertailuympäristö, jonka avulla tutkitaan syvätutkimusagenttien aiheuttamaa yksityisyyden vuotamista, kun nämä yhdistävät yksityisiä paikallisia asiakirjoja ja julkista verkkohakua. Se sisältää 1001 monivaiheista kyselyketjua, joissa agenttien on vastattava yksityistä ja julkista tietoa yhdistäviin kysymyksiin. Testaus osoitti, että agentit vuotavat usein yksityisiä tietoja verkkokyselyidensä kautta, ja pelkkä tehtäväsuorituksen optimointi pahensi vuotoa (34 prosentista 51,7 prosenttiin). Ehdotettu yksityisyystietoinen syvätutkimusmenetelmä (Privacy-Aware Deep Research, PA-DR) yhdistää tilannekohtaisen tehtäväpalkkion opittuun yksityisyyspalkkioon, vähentäen vastaus- ja kokonaistietovuodon 9,9 prosenttiin samalla kun tiukka ketjun onnistumisprosentti säilyy 58,7 prosentissa (lähellä pelkällä tehtäväoptimoinnilla saavutettua 59,3 prosenttia). PA-DR parantaa myös näytetehokkuutta, sillä se vaatii 5–6 kertaa vähemmän tuotettuja näytteitä saavuttaakseen saman tehtäväsuoritustason kuin pelkkä tulosperusteinen vahvistusoppiminen.
Lähde: Hugging Face blog —
Alkuperäinen