Cloud.ru Rilis Sumber Terbuka Guardrails Filter untuk Perlindungan Data dalam Alur Kerja LLM

Cloud.ru merilis Guardrails Filter sebagai perangkat lunak sumber terbuka, sebuah proksi balik transparan antara klien dan penyedia model bahasa besar (LLM) yang menghapus data sensitif dari permintaan dan mengembalikannya dalam respons. Alat ini awalnya dikembangkan untuk platform Cloud.ru sendiri guna mencegah kebocoran data saat menggunakan LLM eksternal. Guardrails Filter menggunakan ekspresi reguler dan checksum untuk mendeteksi dan menyamarkan informasi sensitif seperti nama, alamat, nomor telepon, Nomor Pokok Wajib Pajak (NPWP), data paspor, dan kunci API. Filter ini mendukung respons streaming dan panggilan alat, serta nilai sensitif disimpan sementara di memori, Redis, atau PostgreSQL dengan enkripsi. Dua opsi penyebaran tersedia: biner Go mandiri dengan konsol web dan metrik Prometheus, serta sidecar ext_proc untuk infrastruktur berbasis Envoy. Alat ini mencakup sekitar 260 aturan bawaan yang mencakup Informasi Identitas Pribadi (PII) Rusia (SNILS, NPWP, OGRN) dan rahasia/kunci API. Menurut tolok ukur, presisi mencapai 92–99,9%, recall 75–87%, dan skor F1 82–93%. Solusi ini secara unik mengembalikan data asli dalam respons SSE streaming dan argumen panggilan alat, tidak seperti alternatif lain. Cloud.ru berencana mengintegrasikan model Pengenalan Entitas Bernama (NER) untuk kasus-kasus tepi.