99% من زيارات موقعي الإلكتروني هي روبوتات

يوضّح كاتب المقال، الذي بنى موقع PatronView، وهو قاعدة بيانات لكبار المتبرعين الخيريين في الولايات المتحدة، تفاصيل معركته التي استمرت عاماً كاملاً ضد الروبوتات (bots). فقد استجاب خادمه لـ 2.5 مليون طلب وقدّم 1.28 مليون صفحة في أسبوع واحد، لكن عدد المشاهدات البشرية الفعلية بلغ فقط 5,977، أي أن أقل من 0.5% من إجمالي الزيارات كانت من بشر حقيقيين. في البداية، حظر زحّافات تحسين محركات البحث (SEO) مثل SemrushBot عبر ملف robots.txt وقواعد Cloudflare، ثم في أبريل 2026 تعرّض الموقع لموجة ضخمة من الروبوتات الصينية بلغت 3.6 مليون طلب في يوم واحد، ما دفعه إلى حظر الصين وفيتنام وسنغافورة. كما يشير إلى أن روبوت Claude-SearchBot التابع لشركة Anthropic كان يزحف على 35,000 صفحة عن كل زائر واحد يرسله إلى الموقع، فقرر حظره. أما روبوت Amzn-SearchBot التابع لأمازون، والمستخدم في خدمتَي Rufus وAlexa، فكان يزحف على 117,000 صفحة يومياً دون أن يرسل أي زيارات فعلية، فحظره أيضاً. واستعاض عن أدوات كشف جافاسكريبت (JavaScript) بتحدٍّ مخصص (custom challenge) يستهدف مراكز البيانات وإصدارات المتصفحات القديمة لمواجهة شبكات الروبوتات المنزلية (residential botnets)، وشارك قواعد جدار حماية تطبيقات الويب (WAF) الخاصة به على Cloudflare، والتي تشمل حظر بعض الدول وروبوتات تحسين محركات البحث المعروفة، بالإضافة إلى إخضاع الطلبات القادمة من مزوّدي الخدمات السحابية والمتصفحات القديمة لتحدٍّ إضافي.