Cloud.ru veröffentlicht Guardrails Filter als Open Source für Datenschutz in LLM-Workflows

Cloud.ru hat Guardrails Filter als Open Source veröffentlicht. Dabei handelt es sich um einen transparenten Reverse Proxy zwischen Clients und LLM-Anbietern, der sensible Daten aus Anfragen entfernt und in Antworten wiederherstellt. Das Tool wurde ursprünglich für die eigene Plattform von Cloud.ru entwickelt, um Datenlecks bei der Nutzung externer Large Language Models (LLMs) zu verhindern. Es verwendet reguläre Ausdrücke und Prüfsummen, um sensible Informationen wie Namen, Adressen, Telefonnummern, die individuelle Steuernummer (INN), Passdaten und API-Schlüssel zu erkennen und zu maskieren. Der Filter unterstützt Streaming-Antworten und Tool-Aufrufe, und sensible Werte werden temporär im Arbeitsspeicher, in Redis oder in PostgreSQL mit Verschlüsselung gespeichert. Es stehen zwei Bereitstellungsoptionen zur Verfügung: eine eigenständige Go-Binärdatei mit einer Weboberfläche und Prometheus-Metriken sowie ein ext_proc Sidecar für Envoy-basierte Infrastruktur. Das Tool enthält etwa 260 integrierte Regeln, die russische personenbezogene Daten (SNILS, INN, OGRN) und Geheimnisse/API-Schlüssel abdecken. Laut Benchmarks liegt die Präzision bei 92–99,9 %, der Recall bei 75–87 % und der F1-Score bei 82–93 %. Die Lösung stellt im Gegensatz zu Alternativen Originaldaten in Streaming-SSE-Antworten und Argumenten von Tool-Aufrufen eindeutig wieder her. Cloud.ru plant die Integration eines Named Entity Recognition (NER)-Modells für Grenzfälle.