내 웹사이트 트래픽의 99%는 봇이다

작성자는 미국 자선사업가 데이터베이스인 PatronView를 만든 사람으로, 블로그 글에서 봇과 벌인 1년간의 사투를 상세히 풀어놓았다. 그의 서버는 한 주 동안 250만 건의 요청에 응답하고 128만 페이지를 제공했지만, 실제 인간의 조회는 5,977건에 불과해 전체 트래픽의 0.5% 미만만이 사람이 발생시킨 것이었다. 그는 처음에는 SemrushBot 같은 검색엔진최적화(SEO, Search Engine Optimization) 크롤러들을 robots.txt와 Cloudflare 규칙을 통해 차단했지만, 2026년 4월 중국발 봇들이 대거 몰려들어 하루 만에 360만 건의 요청이 발생하자 중국, 베트남, 싱가포르를 통째로 차단하게 되었다. 그는 또한 Anthropic의 Claude-SearchBot이 방문자 한 명을 보낼 때마다 페이지 3만 5천 개를 긁어갔다고 언급하며 이를 차단했다고 밝혔다. Amazon이 Rufus와 Alexa에 사용하는 Amzn-SearchBot 역시 트래픽은 전혀 보내주지 않으면서 하루에 11만 7천 페이지를 스크래핑해가서 이 역시 차단했다. 그는 주거용 봇넷에 대응하기 위해 자바스크립트(JavaScript) 탐지 방식을 데이터센터 및 구버전 브라우저를 겨냥한 맞춤형 챌린지로 대체했으며, 특정 국가와 알려진 SEO 봇을 차단하고 클라우드 제공업체 및 구형 브라우저에서 오는 요청에는 챌린지를 부과하는 내용을 담은 구체적인 Cloudflare WAF(Web Application Firewall, 웹 애플리케이션 방화벽) 규칙도 공유했다.