Cloud.ru Open-Sources Guardrails Filter for Data Protection When Working with LLMs

Cloud.ru ने Guardrails Filter का स्रोत कोड जारी किया है - यह क्लाइंट और एलएलएम प्रदाताओं के बीच एक पारदर्शी रिवर्स प्रॉक्सी है, जो मॉडल को भेजे गए अनुरोधों से संवेदनशील डेटा हटाता है और प्रतिक्रियाओं में इसे पुनर्स्थापित करता है। यह उपकरण नियमित अभिव्यक्तियों और चेकसम पर आधारित 260 से अधिक अंतर्निहित नियमों का उपयोग करके व्यक्तिगत डेटा, एपीआई कुंजियाँ, बैंक कार्ड डेटा, एसएनआईएलएस, आईएनएन, ओजीआरएन और अन्य प्रकार की जानकारी का पता लगाता है और उन्हें मास्क करता है। यह प्रक्रिया माइक्रोसेकंड में पूरी होती है और इसमें एमएल इन्फरेंस की आवश्यकता नहीं होती है। तैनाती के दो विकल्प उपलब्ध हैं: गो में एक स्टैंडअलोन सेवा (एक डॉकर इमेज, तीन पोर्ट) और एन्वॉय के लिए एक ext_proc साइडकार, जो सीमा पर सभी अनुरोधों पर केंद्रीय रूप से सुरक्षा लागू करता है। Guardrails Filter मेमोरी, रेडिस या पोस्टग्रेएसक्यूएल में प्लेसहोल्डर को संग्रहीत करने का समर्थन करता है, जिसमें एन्क्रिप्शन की संभावना है, और यह स्ट्रीमिंग एसएसई प्रतिक्रियाओं और टूल-कॉल में भी डेटा को पुनर्स्थापित करता है। इसमें वेब कंसोल, लॉगिंग, प्रोमेथियस मैट्रिक्स और ग्राफाना डैशबोर्ड के साथ-साथ एक परीक्षण मोड घोस्ट मोड भी शामिल है। औसत सटीकता 92-99.9%, रिकॉल 75-87%, और F1-स्कोर 82-93% है। यह उपकरण पहले से ही Cloud.ru Evolution Foundation Models प्लेटफॉर्म के अंदर उपयोग किया जा रहा है।