99 % de mon trafic web est constitué de robots

Dans son article de blog, l'auteur, qui a créé PatronView, une base de données de philanthropes américains, détaille son combat d'un an contre les robots. Son serveur a répondu à 2,5 millions de requêtes et délivré 1,28 million de pages en une semaine, mais seulement 5 977 étaient des vues humaines, ce qui signifie que moins de 0,5 % du trafic est humain. Il a d'abord bloqué les robots de référencement SEO comme SemrushBot via robots.txt et les règles Cloudflare, puis en avril 2026, une vague massive de robots chinois a frappé, avec 3,6 millions de requêtes en un jour, ce qui l'a conduit à bloquer la Chine, le Vietnam et Singapour. Il note également que Claude-SearchBot d'Anthropic a scrapé 35 000 pages par visiteur qu'il envoyait, il l'a donc bloqué. Amzn-SearchBot d'Amazon, utilisé pour Rufus et Alexa, a scrapé 117 000 pages par jour sans générer de trafic, il l'a donc également bloqué. Il a remplacé les détections JavaScript par un défi personnalisé pour les centres de données et les anciennes versions de navigateurs afin de lutter contre les botnets résidentiels, et il partage ses règles spécifiques de pare-feu WAF Cloudflare, qui incluent le blocage de certains pays et de robots SEO connus, ainsi que la mise au défi des requêtes provenant de fournisseurs de cloud et de navigateurs obsolètes.