Cloud.ru publie en open source Guardrails Filter pour la protection des données lors de l'utilisation des LLM

Cloud.ru a publié le code source de Guardrails Filter, un proxy inverse transparent entre le client et les fournisseurs de LLM, qui supprime les données sensibles des requêtes adressées au modèle et les restaure dans les réponses. L'outil détecte et masque les données personnelles, les clés API, les données de cartes bancaires, les numéros SNILS, INN, OGRN et d'autres types d'informations à l'aide de plus de 260 règles intégrées basées sur des expressions régulières et des sommes de contrôle. L'opération s'effectue en microsecondes et ne nécessite pas d'inférence ML. Deux options de déploiement sont prévues : un service autonome en Go (une image Docker, trois ports) et un sidecar ext_proc pour Envoy, qui applique la protection de manière centralisée à toutes les requêtes traversant la frontière. Guardrails Filter prend en charge le stockage des substituts en mémoire, dans Redis ou PostgreSQL avec possibilité de chiffrement, et restaure les données même dans les réponses SSE en streaming et les appels d'outils. Une console web est intégrée avec journalisation, métriques Prometheus et tableaux de bord Grafana, ainsi qu'un mode test Ghost Mode. La précision moyenne est de 92 à 99,9 %, le rappel de 75 à 87 % et le score F1 de 82 à 93 %. L'outil est déjà utilisé au sein de la plateforme Cloud.ru Evolution Foundation Models.