Cloud.ru publie en open source un filtre de protection des données pour les workflows LLM

Cloud.ru a publié en open source Guardrails Filter, un proxy inverse transparent entre les clients et les fournisseurs de modèles de langage (LLM) qui supprime les données sensibles des requêtes et les restaure dans les réponses. L'outil a été initialement développé pour la propre plateforme de Cloud.ru afin d'éviter les fuites de données lors de l'utilisation de LLM externes. Il utilise des expressions régulières et des sommes de contrôle pour détecter et masquer les informations sensibles telles que les noms, adresses, numéros de téléphone, numéros d'identification fiscale (INN), données de passeport et clés API. Le filtre prend en charge les réponses en continu (streaming) et les appels d'outils (tool calls), et les valeurs sensibles sont stockées temporairement en mémoire, dans Redis ou PostgreSQL avec chiffrement. Deux options de déploiement sont disponibles : un binaire Go autonome avec une console web et des métriques Prometheus, ainsi qu'un sidecar ext_proc pour une infrastructure basée sur Envoy. L'outil comprend environ 260 règles intégrées couvrant les données personnelles russes (SNILS, INN, OGRN) et les secrets/clés API. Selon les benchmarks, la précision est de 92 à 99,9 %, le rappel de 75 à 87 % et le score F1 de 82 à 93 %. La solution restaure de manière unique les données originales dans les réponses SSE en continu et les arguments d'appels d'outils, contrairement aux alternatives. Cloud.ru prévoit d'intégrer un modèle de reconnaissance d'entités nommées (NER) pour les cas limites.