कुछ फ्रंटियर एआई मॉडल को जेलब्रेक करना डरावना रूप से आसान है

शोधकर्ताओं ने कुछ अग्रणी AI मॉडलों को जेलब्रेक करने में चिंताजनक आसानी का प्रदर्शन किया है, जो उनके प्रशिक्षण की सीमाओं का फायदा उठाने वाली तकनीकों का उपयोग करते हैं। प्रॉम्प्ट को ASCII कला के रूप में प्रस्तुत करना या जटिल एन्कोडिंग का उपयोग करना जैसे सरल तरीके सुरक्षा तंत्रों को बायपास कर सकते हैं, जिससे मॉडल हानिकारक या प्रतिबंधित सामग्री उत्पन्न करते हैं। अध्ययन इस बात पर प्रकाश डालता है कि सुरक्षा प्रशिक्षण में महत्वपूर्ण निवेश के बावजूद, कई मॉडल इन निम्न-तकनीकी हमलों के प्रति संवेदनशील बने हुए हैं। यह भेद्यता AI प्रणालियों में मजबूत संरेखण सुनिश्चित करने की चल रही चुनौती को रेखांकित करती है।