Cloud.ru Open-Sources Guardrails Filter for Data Protection When Working with LLMs

Cloud.ru опубликовал исходный код Guardrails Filter — прозрачного обратного прокси-сервера между клиентом и провайдерами больших языковых моделей (LLM). Он удаляет чувствительные данные из запросов к модели и восстанавливает их в ответах. Инструмент обнаруживает и маскирует персональные данные, API-ключи, данные банковских карт, СНИЛС, ИНН, ОГРН и другие типы информации с помощью более 260 встроенных правил на основе регулярных выражений и контрольных сумм. Операция выполняется за микросекунды и не требует вывода машинного обучения (ML-инференса). Предусмотрены два варианта развёртывания: автономный сервис на Go (один Docker-образ, три порта) и сайдкар ext_proc для Envoy, который централизованно применяет защиту ко всем запросам через границу. Guardrails Filter поддерживает хранение заглушек в памяти, Redis или PostgreSQL с возможностью шифрования, а также восстанавливает данные даже в потоковых SSE-ответах и вызовах инструментов (tool-calls). Встроена веб-консоль с журналированием, метриками Prometheus и дашбордами Grafana, а также тестовый режим Ghost Mode. Средняя точность (precision) составляет 92–99,9%, полнота (recall) — 75–87%, F1-мера — 82–93%. Инструмент уже используется внутри платформы Cloud.ru Evolution Foundation Models.