Hugging Face में डीपफेक न्यूड्स की समस्या

यूरोपीय गैर-लाभकारी संस्था AI Forensics ने मंगलवार को एक रिपोर्ट प्रकाशित की जिसमें दिखाया गया कि हगिंग फेस (Hugging Face), एक अरबों डॉलर का ओपन-सोर्स AI रिपॉजिटरी, गैर-सहमति वाले डीपफेक की व्यापक समस्या से जूझ रहा है। शोधकर्ताओं ने प्लेटफॉर्म पर नौ शीर्ष इमेज-एडिटिंग स्पेसेस (Spaces) का परीक्षण किया, और सात ने एक साधारण छह-शब्दों के प्रॉम्प्ट का उपयोग करके आसानी से एक कपड़े पहने महिला को टॉपलेस में बदल दिया। उन्होंने हनीपॉट स्पेसेस (honeypot Spaces) भी स्थापित किए जो कोई छवि नहीं बनाते थे, लेकिन एक सप्ताह में 1,000 से अधिक प्रॉम्प्ट ट्रैक किए: 73% यौन थे, 83% ने प्रस्तुत व्यक्ति (जिनमें से 95% महिलाएं थीं) को निर्वस्त्र या यौन रूप से चित्रित करने की मांग की, और 6.7% स्पष्ट रूप से बच्चों को लक्षित करते थे। हगिंग फेस की नीतियां बाल यौन शोषण सामग्री और बिना सहमति के बनाए गए यौन डीपफेक पर प्रतिबंध लगाती हैं, लेकिन वायर्ड (WIRED) ने कई ऐसे पेज पाए जो नग्नीकरण तकनीकों को बढ़ावा देते हैं। हगिंग फेस ने वायर्ड के सवालों का जवाब नहीं दिया। आउटलेट द्वारा कंपनी से संपर्क करने के बाद कुछ पेज हटा दिए गए, लेकिन यह स्पष्ट नहीं है कि वे संबंधित हैं या नहीं। रिपोर्ट इस बात पर प्रकाश डालती है कि प्लेटफॉर्म पर कई ओपन-सोर्स मॉडल में सुरक्षा गार्डरेल (safety guardrails) का अभाव है, जो OpenAI और गूगल (Google) के मुख्यधारा मॉडलों के विपरीत है।