私のウェブサイトのトラフィックの99%はボット

自身で米国の慈善家データベース「PatronView」を構築した筆者は、ブログ記事でボットとの1年に及ぶ戦いを詳述している。彼のサーバーは1週間で250万件のリクエストに応答し、128万ページを配信したが、人間による閲覧はわずか5,977件で、トラフィックの0.5%未満しか人間ではなかった。彼は当初、SemrushBotなどのSEOクローラーをrobots.txtとCloudflareのルールでブロックしていたが、2026年4月に中国からのボットの大波が発生し、1日で360万件のリクエストが届いたため、中国、ベトナム、シンガポールをブロックした。また、AnthropicのClaude-SearchBotが、送客1件につき3万5千ページをスクレイピングしたため、これをブロックした。AmazonのAmzn-SearchBotは、RufusやAlexaで使用されており、送客なしで1日あたり11万7千ページをスクレイピングしたため、これもブロックした。彼は、住宅用ボットネットに対抗するため、JavaScript検出を、データセンターと古いブラウザバージョン向けのカスタムチャレンジに置き換え、特定の国や既知のSEOボットのブロック、クラウドプロバイダーや古いブラウザからのリクエストへのチャレンジを含む、自身の具体的なCloudflare WAFルールを公開している。