99% Lalu Lintas Situs Web Saya Adalah Bot

Dalam postingan blognya, penulis yang membangun PatronView, sebuah database tentang para filantropis AS, merinci perjuangannya selama setahun melawan bot. Server-nya merespons 2,5 juta permintaan dan mengirimkan 1,28 juta halaman dalam seminggu, tetapi hanya 5.977 yang merupakan tampilan manusia, yang berarti kurang dari 0,5% lalu lintas adalah manusia. Awalnya dia memblokir perayap SEO seperti SemrushBot melalui robots.txt dan aturan Cloudflare, kemudian pada April 2026 gelombang besar bot China menyerang, dengan 3,6 juta permintaan dalam sehari, yang membuatnya memblokir China, Vietnam, dan Singapura. Dia juga mencatat bahwa Claude-SearchBot milik Anthropic mengikis 35.000 halaman per pengunjung yang dikirimnya, jadi dia memblokirnya. Amzn-SearchBot milik Amazon, yang digunakan untuk Rufus dan Alexa, mengikis 117.000 halaman sehari tanpa mengirim lalu lintas, jadi dia juga memblokirnya. Dia mengganti Deteksi JavaScript dengan tantangan khusus untuk pusat data dan versi browser lama untuk memerangi botnet residensial, dan dia membagikan aturan WAF Cloudflare spesifiknya, yang mencakup pemblokiran negara-negara tertentu dan bot SEO yang dikenal, serta menantang permintaan dari penyedia cloud dan browser yang sudah usang.