99% do Tráfego do Meu Site São Bots
Anthropic
Amazon/AWS
Em uma postagem de blog, o fundador da PatronView, um banco de dados filantrópico dos EUA, compartilha sua batalha de um ano contra bots de IA e SEO que compunham 99% do tráfego do seu site. Ele detalha um influxo massivo de solicitações da China e do Vietnã, as altas taxas de raspagem por visitante dos crawlers de IA como o Claude, e suas regras de firewall usando a Cloudflare. Ele enfatiza a importância de usar análises no lado do servidor para ver o tráfego real, pois ferramentas baseadas em JavaScript perdem a maior parte da atividade dos bots.
Em seu post no blog, o autor, que construiu o PatronView, um banco de dados de filantropistas dos EUA, detalha sua luta de um ano contra bots. Seu servidor respondeu a 2,5 milhões de solicitações e entregou 1,28 milhão de páginas em uma semana, mas apenas 5.977 foram visualizações humanas, o que significa que menos de 0,5% do tráfego é humano. Ele inicialmente bloqueou crawlers de SEO, como o SemrushBot, via robots.txt e regras do Cloudflare, e em abril de 2026 uma enorme onda de bots chineses atingiu o site, com 3,6 milhões de solicitações em um dia, levando-o a bloquear a China, o Vietnã e Singapura. Ele também observa que o Claude-SearchBot, da Anthropic, raspou 35.000 páginas por visitante que ele enviou, então o bloqueou. O Amzn-SearchBot, da Amazon, usado para o Rufus e a Alexa, raspou 117.000 páginas por dia sem enviar tráfego, então ele também o bloqueou. Ele substituiu as Detecções por JavaScript por um desafio personalizado para data centers e versões antigas de navegadores, para combater botnets residenciais, e compartilha suas regras específicas do WAF do Cloudflare, que incluem bloquear certos países e bots de SEO conhecidos, e desafiar solicitações de provedores de nuvem e navegadores desatualizados.
Fonte: Habr — хаб ИИ —
original