机器人在我们沉睡时吞噬了互联网,而这并非比喻
Anthropic
OpenAI
Google/DeepMind
Amazon/AWS
Moonshot AI
慈善数据库PatronView的一名开发者发现,其网站超过99%的流量并非来自人类:在服务的128万个页面中,仅有不到六千个页面被真实用户浏览。分析揭示了AI爬虫请求与人工访问之间令人震惊的比例,其中Anthropic的Claude-SearchBot在一周内抓取了超过42万个页面,却只带来了12位访客。该报道还涉及电影数据库The Numbers的类似案例,该网站因机器人流量而瘫痪,并讨论了这对网络流量、搜索引擎优化、内容真实性以及AI生成内容崛起的更广泛影响。
慈善数据库PatronView的一位开发者发现,该网站99%的访问者不是人类:在128万次页面访问中,不到6000次是由人类浏览的。他计算出,每有一页被人类查看,就有大约214次下载无人问津。该网站曾有一天遭受361,844个独立IP发出的360万次请求的冲击,这些请求大多来自中国,许多机器人通过了Cloudflare的验证码。他的解决方案是在边缘节点屏蔽整个国家,这减少了流量涌入。文章介绍了一个关键指标:机器人每带来一个访问者,会下载多少页面。对于Anthropic的Claude-SearchBot,一周内该比例为42680页对12个访问者。类似的问题也影响了由布鲁斯·纳什创办的电影数据库The Numbers,该网站因针对性的抓取尝试而离线一周,回归后内容大幅减少。该网站是预测市场交易者获取早期票房数据的目标。文章还指出,谷歌的AI概览出现在43%的搜索结果中,将点击率降低了三分之一,并将零点击搜索的份额推高至60%以上。出版商正在重新考虑与谷歌的合作,而德国一家法院裁定谷歌对其AI概览中的虚假陈述负有责任。内容来源认证正变得重要,例如C2PA等标准,但实施情况不一。网站正在通过防火墙规则甚至一种名为ShieldFont的字体进行反击,这种字体会向人类和机器人显示不同的文本。文章最后警告了AI驱动的网络攻击,引用了一份Anthropic的报告,称一个国家级组织利用其编码工具攻击了约30个组织,其中AI完成了80%至90%的工作。
来源: Habr — хаб ИИ —
原文
