रूसी एलएलएम का OWASP LLM10: अनबाउंडेड कंजम्पशन हमलों के खिलाफ परीक्षण
Яндекс
Сбер
एआई रेड टीम परियोजना के शोधकर्ताओं ने रूसी प्रमुख मॉडलों YandexGPT Lite 5 और GigaChat Lite का OWASP LLM10: अनबाउंडेड कंजम्पशन हमलों के खिलाफ परीक्षण किया। उन्होंने विशेष रूप से तैयार किए गए प्रॉम्प्ट का उपयोग करके पुनरावर्ती संदर्भ विस्तार, फ्रैक्टल नेस्टिंग, संयोजनात्मक विस्फोट और मल्टी-एजेंट सिमुलेशन को ट्रिगर किया, जिसका उद्देश्य कम्प्यूटेशनल लोड बढ़ाना था। अध्ययन इस बात पर प्रकाश डालता है कि पारंपरिक सुरक्षा उपाय ऐसे संसाधन-क्षय हमलों के खिलाफ अपर्याप्त हैं।
यह लेख OWASP LLM10: अनबाउंडेड कंज़म्पशन (असीमित खपत) श्रेणी पर चर्चा करता है, जो उन हमलों पर केंद्रित है जो भाषा मॉडलों को असमान रूप से बड़ी मात्रा में गणना करने के लिए मजबूर करते हैं, जिससे संसाधनों की कमी और सेवा से वंचित (डिनायल ऑफ़ सर्विस) की स्थिति उत्पन्न होती है। शोधकर्ताओं ने विभिन्न हमले वर्गों का प्रतिनिधित्व करने वाले दुर्भावनापूर्ण प्रॉम्प्ट तैयार किए, जिनमें पुनरावर्ती संदर्भ विस्तार (क्वाइन-जैसी पुनरावृत्ति), फ्रैक्टल नेस्टिंग, कम्प्यूटेशनल विस्फोट, सिमेंटिक संयोजनात्मक विस्फोट, मल्टी-एजेंट सिमुलेशन, और ग्लिच टोकन दुरुपयोग शामिल हैं। ये प्रॉम्प्ट मॉडलों को अत्यधिक लंबे उत्तर उत्पन्न करने, हजारों संस्थाओं का अनुकरण करने, या अपने स्वयं के तर्क का पुनरावर्ती रूप से विश्लेषण करने के लिए मजबूर कर सकते हैं, जबकि ये सब वैध उपयोगकर्ता अनुरोधों के रूप में प्रतीत होते हैं। अध्ययन ने दो रूसी प्रमुख भाषा मॉडल, यांडेक्सजीपीटी लाइट 5 और गीगाचैट लाइट का परीक्षण किया, जिसमें एआई रेड टीम वेब सेवा का उपयोग किया गया, जो 2000 से अधिक दुर्भावनापूर्ण प्रॉम्प्ट का समर्थन करती है, जिनमें से 200 OWASP LLM10 को लक्षित करते हैं। मूल्यांकन में मैन्युअल सत्यापन के साथ एलएलएम-एज़-जज (LLM-as-a-judge) शामिल था। लेख इस बात पर जोर देता है कि कीवर्ड फ़िल्टरिंग जैसे पारंपरिक सुरक्षा उपाय अप्रभावी हैं, और अधिक मजबूत आर्किटेक्चरल सुरक्षा की आवश्यकता पर प्रकाश डालता है।
स्रोत: Habr — хаб ИИ —
मूल
