आपका टेक्स्ट AI डिटेक्टर में फेल: रूसी-भाषा टेक्स्ट के साथ एक प्रयोग
Anthropic
Moonshot AI
OpenAI
DeepSeek
Сбер
Яндекс
Text.ru
GPTZero
एक प्रयोग में छह बड़े भाषा मॉडल द्वारा उत्पन्न टेक्स्ट और मानव-लिखित रूसी टेक्स्ट के विरुद्ध चार AI डिटेक्टरों का परीक्षण किया गया। परिणाम दिखाते हैं कि डिटेक्टर छोटे टेक्स्ट के साथ संघर्ष करते हैं और कुछ मॉडलों के लिए 'अंधे धब्बे' होते हैं। लेख AI पहचान के पीछे के सिद्धांतों और इसकी सटीकता को लेकर विवाद पर चर्चा करता है।
हैबर के AI हब का यह लेख AI-जनित सामग्री के उदय और AI डिटेक्टरों के प्रसार की पड़ताल करता है। इसमें ग्राफाइट के एक अध्ययन का उल्लेख है, जिसके अनुसार नवंबर 2024 में AI-जनित पाठ मानव-लिखित पाठों से अधिक थे, और 2026 के वसंत में अद्यतन अध्ययन समानता का दावा करता है। लेखक बताता है कि विशिष्ट डिटेक्टर कैसे काम करते हैं, उदाहरण के तौर पर यांडेक्स के न्यूरोडिटेक्टर और टेक्स्ट.आरयू के AI डिटेक्टर का जिक्र करते हुए, और उल्लेख करता है कि ओपनएआई ने कम सटीकता के कारण 2023 में अपने क्लासिफायर को बंद कर दिया था। स्बेर का गीगाचेक, जो एक फाइन-ट्यून किए गए मिस्ट्रल मॉडल पर आधारित है, 94.7% सटीकता का दावा करता है। प्रयोग में चार डिटेक्टर (यांडेक्स न्यूरोडिटेक्टर, गीगाचेक, टेक्स्ट.आरयू AI डिटेक्टर, जीपीटीज़ीरो) और छह एलएलएम (क्लॉड ओपस 5, किमी K3, जीपीटी-5.6 सोल, जीएलएम 5.2, डीपसीक वी4 प्रो, गीगाचैट 3.5 अल्ट्रा) शामिल थे। नियंत्रण के रूप में 2021 से पहले प्रकाशित पैन्ग्राम पर तीन मानव-लिखित पाठों का उपयोग किया गया। मॉडलों ने समान लंबाई के पाठ उत्पन्न किए, और सभी पाठों की जाँच प्रत्येक डिटेक्टर द्वारा एक बार की गई। परिणामों को AI/मानव श्रेणियों में सामान्यीकृत किया गया। लेखक सीमाओं को स्वीकार करता है: छोटा नमूना, एकल परीक्षण, और 27 जुलाई 2026 की तारीख। निष्कर्ष बताते हैं कि लंबे पाठ अधिक सटीक रूप से वर्गीकृत होते हैं, जबकि छोटे पाठ अधिक त्रुटियाँ उत्पन्न करते हैं। विशेष रूप से, यांडेक्स न्यूरोडिटेक्टर ने क्लॉड ओपस 5 के तीन पाठों को मानव के रूप में गलत वर्गीकृत किया, और टेक्स्ट.आरयू ने गलती से जीपीटी-5.6 सोल के पाठों को मानव के रूप में चिह्नित किया, जो 'अंधे धब्बे' का सुझाव देता है। लेख किसी भी डिटेक्टर की सिफारिश करने से बचता है।
स्रोत: Habr — хаб ИИ —
मूल
