मेरी वेबसाइट का 99% ट्रैफ़िक बॉट्स से है

अपने ब्लॉग पोस्ट में, लेखक, जिन्होंने पैट्रनव्यू (PatronView) बनाया है, जो अमेरिकी परोपकारियों का डेटाबेस है, ने बॉट्स के खिलाफ अपनी एक साल की लड़ाई का विवरण दिया है। उनके सर्वर ने एक सप्ताह में 2.5 मिलियन अनुरोधों का जवाब दिया और 1.28 मिलियन पेज वितरित किए, लेकिन केवल 5,977 मानव दृश्य थे, जिसका मतलब है कि 0.5% से भी कम ट्रैफिक मानव है। उन्होंने शुरू में रोबोट्स.टेक्स्ट (robots.txt) और क्लाउडफ्लेयर नियमों के माध्यम से सेमरशबॉट (SemrushBot) जैसे सर्च इंजन ऑप्टिमाइज़ेशन क्रॉलर को ब्लॉक किया, फिर अप्रैल 2026 में चीनी बॉट्स की एक बड़ी लहर आई, जिसमें एक दिन में 3.6 मिलियन अनुरोध हुए, जिससे उन्होंने चीन, वियतनाम और सिंगापुर को ब्लॉक कर दिया। वे यह भी नोट करते हैं कि एंथ्रोपिक (Anthropic) के क्लॉड-सर्चबॉट (Claude-SearchBot) ने अपने द्वारा भेजे गए प्रति आगंतुक 35,000 पेज स्क्रैप किए, इसलिए उन्होंने इसे ब्लॉक कर दिया। अमेज़न (Amazon) का एमज़न-सर्चबॉट (Amzn-SearchBot), जो रूफस (Rufus) और एलेक्सा (Alexa) के लिए उपयोग होता है, ने बिना ट्रैफिक भेजे एक दिन में 117,000 पेज स्क्रैप किए, इसलिए उन्होंने इसे भी ब्लॉक कर दिया। उन्होंने रेजिडेंशियल बॉटनेट से निपटने के लिए जावास्क्रिप्ट डिटेक्शन को डेटा सेंटरों और पुराने ब्राउज़र संस्करणों के लिए एक कस्टम चैलेंज से बदल दिया, और वे अपने विशिष्ट क्लाउडफ्लेयर वेब एप्लिकेशन फ़ायरवॉल नियम साझा करते हैं, जिनमें कुछ देशों और ज्ञात सर्च इंजन ऑप्टिमाइज़ेशन बॉट्स को ब्लॉक करना, और क्लाउड प्रदाताओं और पुराने ब्राउज़रों से अनुरोधों को चुनौती देना शामिल है।