Cloud.ru Open-Sources Guardrails Filter for Data Protection When Working with LLMs

Cloud.ru, açık kaynaklı Guardrails Filter'ın kaynak kodunu yayınladı. Bu araç, istemci ile büyük dil modeli (LLM) sağlayıcıları arasında şeffaf bir ters proxy görevi görerek modele gönderilen isteklerdeki hassas verileri temizler ve yanıtlarda bu verileri eski haline getirir. Araç, kişisel verileri, API anahtarlarını, banka kartı bilgilerini, SNILS, TIN, OGRN ve diğer veri türlerini düzenli ifadeler ve sağlama toplamlarına dayalı 260'tan fazla yerleşik kural kullanarak tespit eder ve maskeler. İşlem mikrosaniyeler içinde gerçekleşir ve makine öğrenimi çıkarımı gerektirmez. İki dağıtım seçeneği sunulur: Go ile yazılmış bağımsız bir hizmet (tek bir Docker imajı, üç bağlantı noktası) ve Envoy için ext_proc sidecar'ı (bu, sınırdaki tüm isteklere merkezi olarak koruma uygular). Guardrails Filter, yer tutucuları bellekte, Redis'te veya PostgreSQL'de şifreleme desteğiyle saklar ve akışlı Sunucu Tarafından Gönderilen Olaylar (SSE) yanıtlarındaki ve araç çağrılarındaki (tool calls) verileri bile eski haline getirebilir. Günlük kaydı, Prometheus metrikleri ve Grafana panoları içeren bir web konsolunun yanı sıra bir test modu olan Ghost Mode da yerleşiktir. Ortalama kesinlik (precision) %92–99,9, duyarlılık (recall) %75–87 ve F1 skoru %82–93 seviyesindedir. Araç halihazırda Cloud.ru Evolution Foundation Models platformu içinde kullanılmaktadır.