AI-bots scannen TLS-certificaatlogs: gebruikte informatie om LLM's te trainen

Het bedrijf Human Security heeft het rapport State of AI Traffic gepubliceerd, waaruit blijkt dat het AI-verkeer op internet het afgelopen jaar met 187 procent is gestegen, terwijl het verkeer van AI-agenten met 7851 procent is toegenomen en dat van AI-scrapers met 597 procent. AI-verkeer groeit acht keer sneller dan menselijk verkeer. Websites met verse content, zoals winkels en media, ondervinden de grootste druk: het aandeel bots nadert daar de 90 procent. Het rapport is gebaseerd op gegevens van het platform Human Defense Platform. De algemeen directeur van Cloudflare, Matthew Prince, voorspelde dat AI-bots tegen 2027 menselijk verkeer zouden overtreffen, maar dit is al in 2026 gebeurd. Experts noemen de situatie het einde van het Open Web: content wordt onmiddellijk opgeslokt door AI-bots en gebruikt voor het trainen van large language models (LLM's), wat leidt tot een catastrofale daling van het menselijke verkeer (de bezoekersaantallen van technische media zijn bijvoorbeeld met meer dan 50 procent gedaald). Uitgevers stappen over op betaalmuren en blokkeren zelfs het Internet Archive. AI-bots scannen zelfs de logs van TLS-certificaten (Certificate Transparency) om nieuwe domeinen voor crawling te ontdekken: zodra een gebruiker een certificaat registreert, arriveert er bijna onmiddellijk een eerste bezoeker op de server, zoals de bot OAI-SearchBot van OpenAI. Daarnaast worden informatiearchieven van failliete bedrijven opgekocht voor het trainen van LLM's, en creëren bestaande bedrijven 'digitale tweelingen' van werknemers op basis van hun correspondentie en bestanden. In fabrieken werken medewerkers met videocamera's op hun hoofd om non-verbaal gedrag vast te leggen. Alle door mensen gegenereerde informatie (user-generated content, UGC) wordt waardevol, waardoor levende werknemers momenteel bijzonder gewild zijn.