Cloud.ru publica el filtro Guardrails como código abierto para proteger datos en flujos de LLM

Cloud.ru ha lanzado como código abierto Guardrails Filter, un proxy inverso transparente entre clientes y proveedores de LLM que elimina datos sensibles de las solicitudes y los restaura en las respuestas. La herramienta fue desarrollada originalmente para la propia plataforma de Cloud.ru con el fin de evitar la filtración de datos al utilizar LLMs externos. Utiliza expresiones regulares y sumas de verificación para detectar y enmascarar información sensible como nombres, direcciones, números de teléfono, INN (Número de Identificación del Contribuyente), datos de pasaporte y claves de API. El filtro admite respuestas en streaming y llamadas a herramientas, y los valores sensibles se almacenan temporalmente en memoria, Redis o PostgreSQL con cifrado. Hay dos opciones de despliegue disponibles: un binario independiente en Go con una consola web y métricas de Prometheus, y un sidecar ext_proc para infraestructura basada en Envoy. La herramienta incluye alrededor de 260 reglas integradas que cubren datos personales rusos (SNILS, INN, OGRN) y secretos o claves de API. Según las pruebas de rendimiento, la precisión es del 92–99.9%, la exhaustividad del 75–87% y la puntuación F1 del 82–93%. A diferencia de alternativas, la solución restaura de manera única los datos originales en respuestas SSE en streaming y argumentos de llamadas a herramientas. Cloud.ru planea integrar un modelo NER (Reconocimiento de Entidades Nombradas) para casos límite.