AI机器人扫描TLS证书日志：任何信息皆用于训练大语言模型

Human Security 发布了《人工智能流量状况报告》，报告显示，过去一年中，互联网上的 AI 流量增长了 187%，其中 AI 代理流量增长了 7851%，AI 爬虫流量增长了 597%。AI 流量的增长速度是人类流量的八倍。新闻和电商等具有新鲜内容的网站面临最大压力，其机器人流量占比接近 90%。该报告基于 Human Defense Platform 的数据。Cloudflare 首席执行官马修·普林斯曾预测，到 2027 年 AI 机器人流量将超过人类流量，但这一情况已在 2026 年发生。专家认为，这标志着开放网络的终结：内容被 AI 机器人瞬间吞噬并用于训练大型语言模型（LLM），导致人类流量灾难性下降（例如，科技媒体的访问量下降了 50% 以上）。出版商纷纷转向付费墙，甚至屏蔽了互联网档案馆（Internet Archive）。AI 机器人甚至扫描 TLS 证书透明度日志，以发现新域名进行爬取：用户注册证书后，服务器几乎立即迎来第一个访客，例如 OpenAI 的 OAI-SearchBot。此外，为训练 LLM，破产公司的信息档案被大量收购，而现运营企业则基于员工的通信和文件创建“数字孪生”。在工厂中，员工佩戴头戴式摄像机以记录非语言行为。任何由人类生成的内容（UGC）都变得珍贵，因此当前真人员工尤其受欢迎。