1億600万件のClaudeBotリクエスト：AIクローラーが専門メディアに実際にかけるコスト

AI専門ニュースメディアのActuIAが、サーバーログの分析結果を公開しました。それによると、2025年2月から2026年5月までの間に、AnthropicのAIクローラーであるClaudeBotが、同社のサーバーへ106,154,885件のリクエストを送信していました。リクエスト量は2025年秋までは控えめでしたが、2025年12月以降に急増し、2026年4月には月間2,500万件を超えるピークに達しました。ClaudeBotは、サイトのリニューアル後には特に、タグ、言語バージョン、ページネーションページを体系的に巡回していました。ActuIAはこれらのアクセスを一切ブロックしたり制限したりしておらず、リクエストの99%以上がHTTP 200を返していました。2026年5月29日から6月12日までの2週間の観察では、クローラーのリクエストとリファラル訪問者を比較しました。Anthropicは訪問1回あたり3,268件のリクエスト（訪問数57回）を必要とし、OpenAIは訪問1回あたり226件のリクエスト（訪問数7,018回）でした。この大量のクロールは、帯域幅、計算リソース、ディスク、監視リソースを消費し、オーディエンス測定を複雑にします。ActuIAはAIクローラーに対してオープンであり続け、llms.txtを実装していますが、報酬なしのオープン性は持続可能な経済モデルではないと主張しています。同社は、Cloudflareが「Pay per crawl」を導入したことや、EUのテキストおよびデータマイニング規則により権利者がオプトアウトできることを指摘しつつ、コンテンツ制作者が公正な価値を受け取るためには、より広範な業界の変革が必要であると述べています。