Cloud.ru libera código do Guardrails Filter para proteção de dados em fluxos de LLM

A Cloud.ru tornou open-source o Guardrails Filter, um proxy reverso transparente entre clientes e provedores de LLM que remove dados sensíveis de requisições e os restaura nas respostas. A ferramenta foi originalmente desenvolvida para a própria plataforma da Cloud.ru para evitar vazamento de dados ao usar LLMs externos. Ela usa expressões regulares e checksums para detectar e mascarar informações sensíveis como nomes, endereços, números de telefone, INN, dados de passaporte e chaves de API. O filtro suporta respostas em streaming e chamadas de ferramentas, e os valores sensíveis são armazenados temporariamente em memória, Redis ou PostgreSQL com criptografia. Duas opções de implantação estão disponíveis: um binário Go independente com console web e métricas do Prometheus, e um sidecar ext_proc para infraestrutura baseada em Envoy. A ferramenta inclui cerca de 260 regras embutidas que cobrem PII (Informações Pessoais Identificáveis) russas (SNILS, INN, OGRN) e segredos/chaves de API. De acordo com benchmarks, a precisão é de 92–99,9%, o recall de 75–87% e o F1-score de 82–93%. A solução restaura dados originais de forma única em respostas SSE em streaming e argumentos de chamadas de ferramentas, ao contrário de alternativas. A Cloud.ru planeja integrar um modelo NER para casos extremos.