Cloud.ru ने LLM वर्कफ़्लो में डेटा सुरक्षा के लिए Guardrails Filter को ओपन-सोर्स किया

Cloud.ru ने Guardrails Filter को ओपन-सोर्स कर दिया है, जो क्लाइंट और LLM प्रदाताओं के बीच एक पारदर्शी रिवर्स प्रॉक्सी है जो अनुरोधों से संवेदनशील डेटा हटाता है और प्रतिक्रियाओं में इसे पुनर्स्थापित करता है। यह टूल मूल रूप से Cloud.ru के अपने प्लेटफॉर्म के लिए विकसित किया गया था ताकि बाहरी LLM के उपयोग करते समय डेटा लीक को रोका जा सके। यह रेगुलर एक्सप्रेशन और चेकसम का उपयोग करके संवेदनशील जानकारी जैसे नाम, पते, फोन नंबर, आईएनएन (INN), पासपोर्ट डेटा और एपीआई की (API keys) का पता लगाता है और मास्क करता है। फ़िल्टर स्ट्रीमिंग रिस्पॉन्स और टूल कॉल का समर्थन करता है, और संवेदनशील मान अस्थायी रूप से मेमोरी, Redis या PostgreSQL में एन्क्रिप्शन के साथ संग्रहीत होते हैं। दो डिप्लॉयमेंट विकल्प उपलब्ध हैं: एक स्टैंडअलोन Go बाइनरी जिसमें वेब कंसोल और Prometheus मीट्रिक्स हैं, और Envoy-आधारित इंफ्रास्ट्रक्चर के लिए एक ext_proc साइडकार। टूल में लगभग 260 बिल्ट-इन नियम शामिल हैं जो रूसी पीआईआई (SNILS, INN, OGRN) और सीक्रेट्स/एपीआई कीज़ को कवर करते हैं। बेंचमार्क के अनुसार, प्रेसिजन (precision) 92–99.9%, रिकॉल (recall) 75–87%, और एफ1-स्कोर (F1-score) 82–93% है। यह समाधान वैकल्पिक समाधानों के विपरीत, स्ट्रीमिंग SSE रिस्पॉन्स और टूल कॉल आर्गुमेंट्स में मूल डेटा को अनूठे रूप से पुनर्स्थापित करता है। Cloud.ru किनारे के मामलों के लिए एक NER मॉडल को एकीकृत करने की योजना बना रहा है।