私たちが眠っている間にロボットがインターネットをむさぼり食っていた。しかもこれは比喩ではない

慈善データベースPatronViewの開発者は、サイト訪問者の99%が人間ではないことを発見した。提供された128万ページのうち、人間が見たのは6千ページ未満だった。彼は、人間が1ページ見るごとに、誰も見ないダウンロードが約214件あると計算した。このサイトは1日に361,844のユニークIPから360万件のリクエストの嵐に見舞われ、その多くは中国からで、多くのボットがCloudflareのキャプチャを通過していた。彼の解決策は、エッジで国全体をブロックすることであり、これにより流入が減少した。この記事では、ボットが送り返す訪問者ごとに何ページをダウンロードするかという主要な指標を紹介している。AnthropicのClaude-SearchBotの場合、1週間で12人の訪問者に対して42,680ページという比率だった。同様の問題は、ブルース・ナッシュが設立した映画データベースThe Numbersにも影響を与え、標的型スクレイピングの試みにより1週間オフラインになり、再開後は大幅に縮小された。このサイトは、早期の興行収入データを求める予測市場トレーダーの標的だった。この記事はまた、GoogleのAI Overviewsが検索の43%に表示され、クリック率を3分の1減らし、ゼロクリック検索のシェアを60%以上に押し上げたと指摘している。出版社はGoogleとの取引を再考しており、ドイツの裁判所はAI Overviewsの虚偽の記述についてGoogleに責任があると判決を下した。コンテンツの来歴が重要になりつつあり、C2PAなどの標準があるが、実装は一貫していない。ウェブサイトはファイアウォールルールや、人間とボットに異なるテキストを表示するShieldFontと呼ばれるフォントで対抗している。この記事は、AIによるサイバー攻撃についての警告で締めくくられており、Anthropicの報告書によると、国家支援グループがそのコーディングツールを使って約30の組織を攻撃し、AIが作業の80～90%を実行したと述べている。