OWASP LLM10: असीमित खपत — आधुनिक भाषा मॉडलों का संसाधन-गहन प्रॉम्प्ट पर परीक्षण
Яндекс
Сбер
यह लेख LLM सुरक्षा के संदर्भ में OWASP LLM10 श्रेणी (असीमित खपत) की पड़ताल करता है, जिसमें हमले के उन वर्गों का वर्णन किया गया है जो अनुपातहीन संसाधन खपत का कारण बनते हैं। लेखकों ने AI रेड टीम प्रणाली का उपयोग करके रूसी प्रमुख मॉडलों YandexGPT Lite 5 और GigaChat Lite का परीक्षण किया, जिसमें 2000 से अधिक दुर्भावनापूर्ण प्रॉम्प्ट शामिल हैं।
बड़े भाषा मॉडल (Large Language Models) का उपयोग कॉर्पोरेट सिस्टम में तेजी से बढ़ रहा है, लेकिन उनकी लोकप्रियता के साथ, खतरे का स्वरूप भी बदल जाता है: हमलावर ऐसे अनुरोध तैयार कर सकते हैं जो मॉडल को संसाधन-गहन कार्य करने के लिए मजबूर करते हैं, जिससे सीपीयू समय, मेमोरी और हजारों टोकन की खपत होती है। LLM अनुप्रयोगों के लिए OWASP टॉप 10 में LLM10: अनबाउंडेड कंजम्पशन (LLM10: Unbounded Consumption) श्रेणी शामिल है, जो डेनियल ऑफ सर्विस (Denial of Service) की अवधारणा को जनरेटिव एआई पर लागू करती है। प्रॉम्प्ट इंजेक्शन (Prompt Injection) या डेटा लीकेज जैसे क्लासिक हमलों के विपरीत, ये हमले कंप्यूटेशनल संसाधनों को लक्षित करते हैं। लेख कई हमले वर्गों का वर्णन करता है: पुनरावर्ती संदर्भ विस्तार (क्वाइन-जैसी पुनरावृत्ति), फ्रैक्टल नेस्टिंग, कम्प्यूटेशनल विस्फोट, सिमेंटिक कॉम्बिनेटोरियल विस्फोट, मल्टी-एजेंट सिमुलेशन, और ग्लिच टोकन दुरुपयोग। लेखकों ने एआई रेड टीम (AI Red Team) प्रणाली का उपयोग करके प्रयोग किए, जो 2000 से अधिक दुर्भावनापूर्ण प्रॉम्प्ट का समर्थन करती है, जिनमें से 200 LLM10 को लक्षित करते हैं। उन्होंने दो रूसी प्रमुख मॉडलों का परीक्षण किया: यांडेक्सजीपीटी लाइट 5 (YandexGPT Lite 5) और गीगाचैट लाइट (GigaChat Lite)। यह अध्ययन इनोवेशन प्रमोशन फाउंडेशन (fasie.ru) द्वारा समर्थित था, और उदाहरण केवल शोध और शैक्षिक उद्देश्यों के लिए प्रदान किए गए हैं।
स्रोत: Habr — хаб ИИ —
मूल