AI机器人扫描TLS证书日志：任何信息都可用于训练大语言模型

Human Security 发布的《AI 流量状况》报告显示，AI 机器人活动急剧增长：AI 代理流量增长 7851%，AI 爬取流量增长 597%，整体 AI 流量增长 187%——增长速度是人工流量的八倍。到 2026 年初，AI 流量正式超越人工流量，在电商、媒体等内容丰富的网站上，机器人几乎占据近 90% 的访问量。虚假账户呈指数级增长。专家称这标志着开放网络的终结，因为内容被机器人即时消耗以训练大型语言模型 (LLM)，导致人工流量骤降（例如，科技媒体访问量下降超过 50%）。出版商正将内容移至付费墙后，甚至屏蔽了互联网档案馆 (Internet Archive)。机器人还会扫描 TLS 证书日志（证书透明度日志，Certificate Transparency logs）以发现新域名进行爬取。该报告基于 Human Defense Platform 的数据。Cloudflare 首席执行官 Matthew Prince 曾预测这一转折点将在 2027 年出现，但实际上更早，发生在 2026 年。此外，数据经纪人现在出售用于 LLM 训练的内部公司通信档案，而一些公司利用聊天记录、电子邮件和视频录像创建员工的“数字孪生”，以便在员工离职后复制其技能。