Cloud.ru Open-Sources Guardrails Filter for Data Protection When Working with LLMs

Cloud.ruがGuardrails Filterのソースコードを公開しました。これは、クライアントとLLMプロバイダー間の透過的なリバースプロキシで、モデルへのリクエストから機密データを削除し、レスポンスで復元します。このツールは、正規表現とチェックサムに基づく260以上の組み込みルールを使用して、個人データ、APIキー、銀行カードデータ、SNILS、INN（納税者番号）、OGRN（基本国家登録番号）などの情報タイプを検出およびマスキングします。処理はマイクロ秒で実行され、機械学習推論は不要です。2つのデプロイメントオプションが用意されています。Goで書かれたスタンドアロンサービス（1つのDockerイメージ、3つのポート）と、Envoy用のext_procサイドカーで、境界を越えるすべてのリクエストに一元的に保護を適用します。Guardrails Filterは、マスクデータをメモリ、Redis、またはPostgreSQLに保存し、暗号化も可能で、ストリーミングSSEレスポンスやツールコールでもデータを復元します。ログ記録、Prometheusメトリクス、Grafanaダッシュボードを備えたウェブコンソールと、テストモードのGhost Modeが組み込まれています。平均適合率は92～99.9%、再現率は75～87%、F1スコアは82～93%です。このツールはCloud.ru Evolution Foundation Modelsプラットフォーム内ですでに使用されています。