Cloud.ru maakt Guardrails Filter open source voor gegevensbescherming bij gebruik van LLM's

Cloud.ru heeft de broncode van Guardrails Filter gepubliceerd, een transparante reverse proxy tussen de client en LLM-providers die gevoelige gegevens uit verzoeken aan het model verwijdert en deze in antwoorden herstelt. Het hulpmiddel detecteert en maskeert persoonsgegevens, API-sleutels, creditcardgegevens, sofinummers (vergelijkbaar met Russische SNILS), fiscale identificatienummers (INN) en andere typen informatie met behulp van meer dan 260 ingebouwde regels op basis van reguliere expressies en checksums. De bewerking wordt uitgevoerd in microseconden en vereist geen ML-inferentie. Er zijn twee implementatieopties voorzien: een standalone-service in Go (één docker-image, drie poorten) en een ext_proc-sidecar voor Envoy, die centraal beveiliging toepast op alle verzoeken via de grens. Guardrails Filter ondersteunt opslag van tijdelijke aanduidingen in het geheugen, Redis of PostgreSQL, met de mogelijkheid tot encryptie, en herstelt gegevens zelfs in streaming SSE-antwoorden en tool-calls. Een webconsole met logging, Prometheus-metrieken en Grafana-dashboards is ingebouwd, evenals een testmodus 'Ghost Mode'. De gemiddelde precisie bedraagt 92-99,9%, de recall 75-87% en de F1-score 82-93%. Het hulpmiddel wordt al intern gebruikt op het Cloud.ru Evolution Foundation Models-platform.