1.06亿次ClaudeBot请求：AI爬虫对专业媒体机构的真实成本

专业AI新闻媒体ActuIA发布了一份对其服务器日志的分析，显示在2025年2月至2026年5月期间，Anthropic的AI爬虫ClaudeBot向其服务器发送了106,154,885次请求。直到2025年秋季，请求量都较为平稳，但从2025年12月开始激增，在2026年4月达到峰值，超过2500万次，且ClaudeBot在网站改版后，会系统性地通过标签、语言版本和分页页面进行爬取。ActuIA从未阻止或限制这些访问，超过99%的请求都返回了HTTP 200状态码。一项从2026年5月29日至6月12日进行的为期两周的观察，比较了爬虫请求与引荐访问者的情况：Anthropic每带来一次访问需要3268次请求（共57次访问），而OpenAI每带来一次访问需要226次请求（共7018次访问）。密集的爬取消耗了带宽、计算、磁盘和监控资源，并使受众测量变得复杂。ActuIA仍对AI爬虫保持开放，并已实施llms.txt，但它认为，没有补偿的开放并非可持续的经济模式。它指出，Cloudflare已引入了“按爬取付费”模式，且欧盟的文本和数据挖掘规则允许权利人选择退出，但需要更广泛的行业转变，以确保内容生产者获得公平的价值。