99% Lưu Lượng Truy Cập Website Của Tôi Là Bot

Trong bài đăng trên blog của mình, tác giả – người đã xây dựng PatronView, một cơ sở dữ liệu về các nhà từ thiện tại Mỹ – đã kể chi tiết về cuộc chiến kéo dài cả năm trời của anh với các bot. Máy chủ của anh đã xử lý 2,5 triệu yêu cầu (request) và trả về 1,28 triệu trang trong một tuần, nhưng chỉ có 5.977 lượt xem là của con người, nghĩa là chưa đến 0,5% lưu lượng truy cập đến từ người dùng thật. Ban đầu, anh chặn các trình thu thập dữ liệu phục vụ SEO (Search Engine Optimization – tối ưu hóa công cụ tìm kiếm) như SemrushBot thông qua tệp robots.txt và các quy tắc của Cloudflare, nhưng đến tháng 4 năm 2026, một làn sóng bot khổng lồ từ Trung Quốc ập đến, với 3,6 triệu yêu cầu chỉ trong một ngày, buộc anh phải chặn hoàn toàn lưu lượng từ Trung Quốc, Việt Nam và Singapore. Anh cũng cho biết Claude-SearchBot của Anthropic đã thu thập tới 35.000 trang cho mỗi lượt truy cập mà nó mang lại, nên anh đã chặn luôn bot này. Tương tự, Amzn-SearchBot của Amazon – được dùng để phục vụ Rufus và Alexa – thu thập tới 117.000 trang mỗi ngày mà không hề mang lại bất kỳ lượt truy cập nào, nên anh cũng chặn nốt. Anh đã thay thế phương pháp JavaScript Detections bằng một bài kiểm tra thử thách (challenge) tùy chỉnh dành cho các trung tâm dữ liệu và những phiên bản trình duyệt cũ, nhằm đối phó với các mạng botnet dân dụng (residential botnet). Anh cũng chia sẻ cụ thể các quy tắc WAF (Web Application Firewall – tường lửa ứng dụng web) trên Cloudflare mà mình sử dụng, bao gồm việc chặn một số quốc gia nhất định và các bot SEO đã biết, đồng thời đưa ra bài kiểm tra thử thách đối với các yêu cầu đến từ nhà cung cấp dịch vụ đám mây và các trình duyệt đã lỗi thời.