Kuinka vältät LLM:ien rikkoutumisen samalla kun suojaat dataa: Suodattimen suojakaiteiden konepellin alla

Artikkelissa käsitellään suojakaide-suodattimen kehittämistä, joka on suunniteltu suojaamaan henkilötietoja suurten kielimallien kanssa tapahtuvissa vuorovaikutuksissa. Vaikka henkilötietojen löytäminen säännöllisten lausekkeiden avulla on suoraviivaista, todellinen haaste on integroida suodatin sovelluksen ja mallin väliin rikkomatta vuorovaikutusta. Suodattimen on käsiteltävä tavallisia pyyntöjä, suoratoistoa, työkalujen kutsumista, säilytettävä viestirakenne ja säilytettävä metatiedot. Käsitelläkseen useita saman tyyppisiä tietoinstansseja suodatin käyttää yhdistelmätaulukkoa, joka antaa yksilöllisiä paikkamerkkejä, kuten <PHONE_1>, jokaiselle erilliselle arvolle. Koska kielimallit ovat tilattomia, suodattimen on käsiteltävä koko keskusteluhistoria uudelleen jokaisen pyynnön yhteydessä. Suoratoistotilassa vastaukset saapuvat paloina, ja paikkamerkit voivat jakautua eri paloihin; suodatin käyttää puskuria kerätäkseen tarpeeksi dataa ennen kuin se yrittää paljastaa todelliset arvot. Se käsittelee myös eri kenttiä vastauksissa, mukaan lukien sisällön, päättelyn ja työkalukutsujen argumentit, varmistaen, että tiedot palautetaan oikein kaikissa näissä. Toteutus kasvoi noin 1 500 rivin koodiksi pelkästään suoratoistoa varten Chat Completions -rajapinnassa. Lisäksi Messages API:n tukeminen vaati erillisen toteutuksen sen tapahtumapohjaisen muodon vuoksi, mikä nosti testikoodin kokonaismäärän yli 4 000 riviin.