Cloud.ru, LLM İş Akışlarında Veri Koruması İçin Guardrails Filter'ı Açık Kaynak Olarak Yayınladı

Cloud.ru, Guardrails Filter'i açık kaynak olarak yayınladı. Bu araç, istemciler ile LLM sağlayıcıları arasında şeffaf bir ters proxy görevi görerek isteklerden hassas verileri kaldırıp yanıtlarda geri yüklüyor. Başlangıçta Cloud.ru'nun kendi platformu için harici LLM'ler kullanılırken veri sızıntısını önlemek amacıyla geliştirilen bu araç, düzenli ifadeler ve sağlama toplamları kullanarak isimler, adresler, telefon numaraları, T.C. kimlik numarası (Türkiye'de), pasaport verileri ve API anahtarları gibi hassas bilgileri tespit edip maskeleyebiliyor. Filtre, akış yanıtlarını ve araç çağrılarını destekliyor; hassas değerler geçici olarak bellekte, Redis'te veya PostgreSQL'de şifrelenmiş şekilde saklanıyor. Dağıtım için iki seçenek sunuluyor: web konsolu ve Prometheus metrikleri ile bağımsız bir Go ikili dosyası veya Envoy tabanlı altyapılar için bir ext_proc sidecar'ı. Araç, Rusya'ya özgü kişisel tanımlayıcı bilgileri (SNILS, INN, OGRN) ve sırlar/API anahtarlarını kapsayan yaklaşık 260 yerleşik kural içeriyor. Kıyaslamalara göre kesinlik %92–99,9, duyarlılık %75–87 ve F1 skoru %82–93 arasında değişiyor. Çözüm, alternatiflerden farklı olarak, akış yapan SSE yanıtlarında ve araç çağrı argümanlarında özgün verileri benzersiz bir şekilde geri yüklüyor. Cloud.ru, uç durumlar için bir NER modeli entegre etmeyi planlıyor.