Robots verslonden het internet terwijl wij sliepen. En dat is geen metafoor

Een ontwikkelaar van de liefdadigheidsdatabase PatronView ontdekte dat 99% van de bezoekers van de site geen mensen zijn: van de 1,28 miljoen weergegeven pagina's werden er minder dan zesduizend door mensen bekeken. Hij berekende dat voor elke pagina die door een persoon wordt gezien, er ongeveer 214 downloads zijn die niemand ooit ziet. De site werd getroffen door een storm van 3,6 miljoen verzoeken op één dag van 361.844 unieke IP-adressen, voornamelijk uit China, waarbij veel bots Cloudflare's captcha wisten te omzeilen. Zijn oplossing was om hele landen aan de rand te blokkeren, wat de toestroom verminderde. Het artikel introduceert een belangrijke metriek: hoeveel pagina's een bot downloadt per bezoeker dat het terugstuurt. Voor Anthropic's Claude-SearchBot was de verhouding 42.680 pagina's tot 12 bezoekers in een week. Soortgelijke problemen troffen The Numbers, een filmdatabase opgericht door Bruce Nash, die een week offline ging en aanzienlijk verminderd terugkeerde na gerichte scrape-pogingen. De site was een doelwit voor handelaren in voorspellingsmarkten die op zoek waren naar vroege box-office-gegevens. Het artikel merkt ook op dat Google's AI-overzichten in 43% van de zoekopdrachten verschijnen, wat de klikfrequentie met een derde vermindert en het aandeel van nulklik-zoekopdrachten boven de 60% duwt. Uitgevers heroverwegen deals met Google, en een Duitse rechtbank oordeelde dat Google verantwoordelijk is voor onjuiste verklaringen in zijn AI-overzichten. Contentherkomst wordt belangrijk, met standaarden zoals C2PA (Coalition for Content Provenance and Authenticity), maar de implementatie is inconsistent. Websites vechten terug met firewallregels en zelfs een lettertype genaamd ShieldFont dat verschillende tekst toont aan mensen en bots. Het artikel besluit met een waarschuwing over AI-gestuurde cyberaanvallen, verwijzend naar een Anthropic-rapport dat een door de staat gesteunde groep zijn codeertool gebruikte om ongeveer 30 organisaties aan te vallen, waarbij de AI 80-90% van het werk deed.