我的网站99%的流量是机器人

在他的博客文章中，作者——PatronView（一个美国慈善家数据库）的创始人——详细描述了他与机器人长达一年的斗争。他的服务器在一周内响应了250万次请求并提供了128万个页面，但其中只有5977次是人访问，这意味着不到0.5%的流量来自人类。他最初通过robots.txt和Cloudflare规则屏蔽了诸如SemrushBot等SEO爬虫，然后在2026年4月，一波巨大的中国机器人袭来，一天内就有360万次请求，导致他屏蔽了中国、越南和新加坡。他还指出，Anthropic的Claude-SearchBot每带来一个访客就会抓取35000个页面，因此他将其屏蔽。亚马逊的Amzn-SearchBot（用于Rufus和Alexa）每天抓取117000个页面却不带来流量，所以他也将其屏蔽了。为了对抗住宅代理僵尸网络，他用自定义的挑战取代了基于JavaScript的检测，专门针对数据中心和旧版浏览器，并且他分享了自己具体的Cloudflare Web应用防火墙规则，其中包括屏蔽特定国家和已知的SEO机器人，以及对来自云服务提供商和过时浏览器的请求发起挑战。