Cloud.ru avoimen lähdekoodin Guardrails Filter -suodatin tietosuojaan LLM:ien kanssa työskenneltäessä

Cloud.ru on julkaissut lähdekoodin Guardrails Filterille – läpinäkyvälle käänteiselle välityspalvelimelle asiakkaan ja suurten kielimallien tarjoajien välillä, joka poistaa arkaluonteiset tiedot mallille lähetetyistä pyynnöistä ja palauttaa ne vastauksissa. Työkalu tunnistaa ja peittää henkilötiedot, API-avaimet, pankkikorttien tiedot, henkilötunnukset, yritystunnukset ja muut tietotyypit yli 260 sisäänrakennetun säännön avulla, jotka perustuvat säännöllisiin lausekkeisiin ja tarkistussummiin. Toiminto suoritetaan mikrosekunneissa eikä vaadi koneoppimispäätelmiä. Käyttöönottoon on kaksi vaihtoehtoa: itsenäinen Go-palvelu (yksi Docker-kuva, kolme porttia) ja ext_proc-sivukontti Envoylle, joka keskittää suojauksen kaikkiin reunan ylittäviin pyyntöihin. Guardrails Filter tukee paikkausmerkkien tallennusta muistissa, Redisissä tai PostgreSQL:ssä salausmahdollisuudella ja palauttaa tiedot jopa suoratoistavissa SSE-vastauksissa ja työkaluversioissa. Mukana on verkkokonsoli lokitiedoilla, Prometheus-mittareilla ja Grafana-hallintapaneeleilla sekä testitila Ghost Mode. Keskimääräinen tarkkuus on 92–99,9 %, saanti 75–87 % ja F1-pistemäärä 82–93 %. Työkalua käytetään jo Cloud.ru Evolution Foundation Models -alustan sisällä.