Cloud.ru publica como código abierto Guardrails Filter para proteger datos al trabajar con LLMs

Cloud.ru ha publicado el código fuente de Guardrails Filter, un proxy inverso transparente entre el cliente y los proveedores de LLM, que elimina datos sensibles de las solicitudes al modelo y los restaura en las respuestas. La herramienta detecta y enmascara datos personales, claves API, datos de tarjetas bancarias, SNILS, INN, OGRN y otros tipos de información mediante más de 260 reglas integradas basadas en expresiones regulares y sumas de verificación. La operación se realiza en microsegundos y no requiere inferencia de modelos de aprendizaje automático. Se ofrecen dos opciones de despliegue: un servicio independiente en Go (una imagen Docker, tres puertos) y un sidecar ext_proc para Envoy, que aplica protección centralizada a todas las solicitudes a través del perímetro. Guardrails Filter admite el almacenamiento de marcadores de posición en memoria, Redis o PostgreSQL con posibilidad de cifrado, y restaura datos incluso en respuestas SSE en streaming y llamadas a herramientas (tool calls). Incluye una consola web con registro, métricas de Prometheus y paneles de Grafana, así como un modo de prueba Ghost Mode. La precisión media es del 92-99,9%, la exhaustividad (recall) del 75-87% y la puntuación F1 del 82-93%. La herramienta ya se utiliza internamente en la plataforma Cloud.ru Evolution Foundation Models.