El 99% del Tráfico de Mi Sitio Web Son Bots
Anthropic
Amazon/AWS
En una publicación de blog, el fundador de PatronView, una base de datos de filántropos de Estados Unidos, comparte su batalla de un año contra los bots de inteligencia artificial y de SEO que representaban el 99% del tráfico de su sitio. Detalla una afluencia masiva de solicitudes desde China y Vietnam, las altas proporciones de raspado por visitante de los rastreadores de IA como Claude, y sus reglas de firewall utilizando Cloudflare. Enfatiza la importancia de usar análisis del lado del servidor para ver el tráfico real, ya que las herramientas basadas en JavaScript no captan la mayoría de la actividad de los bots.
En su publicación de blog, el autor, quien creó PatronView, una base de datos de filántropos estadounidenses, detalla su lucha de un año contra los bots. Su servidor respondió a 2,5 millones de solicitudes y entregó 1,28 millones de páginas en una semana, pero solo 5.977 fueron visitas humanas, lo que significa que menos del 0,5% del tráfico es humano. Inicialmente bloqueó rastreadores de SEO como SemrushBot mediante robots.txt y reglas de Cloudflare, y luego, en abril de 2026, una gran ola de bots chinos llegó, con 3,6 millones de solicitudes en un día, lo que lo llevó a bloquear China, Vietnam y Singapur. También señala que Claude-SearchBot de Anthropic raspó 35.000 páginas por cada visitante que envió, por lo que lo bloqueó. Amzn-SearchBot de Amazon, utilizado para Rufus y Alexa, raspó 117.000 páginas al día sin enviar tráfico, así que también lo bloqueó. Sustituyó las Detecciones de JavaScript por un desafío personalizado para centros de datos y versiones antiguas de navegadores para combatir las botnets residenciales, y comparte sus reglas específicas de WAF de Cloudflare, que incluyen bloquear ciertos países y bots de SEO conocidos, y desafiar solicitudes de proveedores de servicios en la nube y navegadores obsoletos.
Fuente: Habr — хаб ИИ —
original