99% van mijn websitetraffic bestaat uit bots

In zijn blogpost beschrijft de auteur, die PatronView heeft gebouwd, een database van Amerikaanse filantropen, zijn gevecht van een jaar tegen bots. Zijn server reageerde in één week op 2,5 miljoen verzoeken en leverde 1,28 miljoen pagina's, maar slechts 5.977 daarvan waren menselijke bezoeken, wat betekent dat minder dan 0,5% van het verkeer menselijk is. Aanvankelijk blokkeerde hij SEO-crawlers zoals SemrushBot via robots.txt en Cloudflare-regels, en in april 2026 werd hij geconfronteerd met een grote golf van Chinese bots, met 3,6 miljoen verzoeken per dag, waardoor hij China, Vietnam en Singapore blokkeerde. Hij merkt ook op dat Anthropic's Claude-SearchBot 35.000 pagina's scrapete per bezoeker die het stuurde, dus blokkeerde hij dit. Amazon's Amzn-SearchBot, gebruikt voor Rufus en Alexa, scrapete 117.000 pagina's per dag zonder verkeer te sturen, dus blokkeerde hij dit ook. Hij verving JavaScript-detecties door een aangepaste uitdaging voor datacenters en oude browserversies om residentiële botnets te bestrijden, en hij deelt zijn specifieke Cloudflare WAF-regels, die onder meer het blokkeren van bepaalde landen en bekende SEO-bots omvatten, en het uitdagen van verzoeken van cloudproviders en verouderde browsers.