Cloud.ru veröffentlicht Guardrails Filter als Open Source zum Schutz von Daten bei der Arbeit mit LLMs

Cloud.ru hat den Quellcode von Guardrails Filter veröffentlicht – einem transparenten Reverse Proxy zwischen dem Client und LLM-Anbietern, der sensible Daten aus Anfragen an das Modell entfernt und in den Antworten wiederherstellt. Das Tool erkennt und maskiert personenbezogene Daten, API-Schlüssel, Kreditkartendaten, SNILS, INN, OGRN und andere Informationstypen mithilfe von über 260 integrierten Regeln auf Basis regulärer Ausdrücke und Prüfsummen. Die Operation erfolgt in Mikrosekunden und erfordert keine ML-Inferenz. Es gibt zwei Bereitstellungsoptionen: einen eigenständigen Dienst in Go (ein Docker-Image, drei Ports) und einen ext_proc-Seitenwagen für Envoy, der zentral Schutz auf alle Anfragen über die Grenze hinweg anwendet. Guardrails Filter unterstützt die Speicherung von Platzhaltern im Arbeitsspeicher, Redis oder PostgreSQL mit Verschlüsselungsmöglichkeit und stellt Daten selbst in Streaming-SSE-Antworten und Tool-Calls wieder her. Eine Webkonsole mit Protokollierung, Prometheus-Metriken und Grafana-Dashboards sowie ein Testmodus Ghost Mode sind integriert. Die durchschnittliche Präzision liegt bei 92–99,9 %, der Recall bei 75–87 %, der F1-Score bei 82–93 %. Das Tool wird bereits innerhalb der Cloud.ru Evolution Foundation Models-Plattform eingesetzt.