106 miljoen ClaudeBot-verzoeken: wat AI-crawlers een gespecialiseerde media-uitgever werkelijk kosten

ActuIA, een gespecialiseerd AI-nieuwsmedium, heeft een analyse van zijn serverlogs gepubliceerd waaruit blijkt dat tussen februari 2025 en mei 2026 ClaudeBot, de AI-crawler van Anthropic, 106.154.885 verzoeken naar zijn servers stuurde. De verzoekvolumes waren bescheiden tot de herfst van 2025, maar explodeerden vanaf december 2025, met pieken van meer dan 25 miljoen in april 2026. ClaudeBot verkende systematisch via tags, taalversies en paginapagina's, vooral na een herontwerp van de site. ActuIA heeft deze toegangen nooit geblokkeerd of beperkt, waarbij meer dan 99% van de verzoeken een HTTP 200-status retourneerde. Een observatie van twee weken, van 29 mei tot 12 juni 2026, vergeleek crawlerverzoeken met verwijzende bezoekers: Anthropic had 3.268 verzoeken per bezoek nodig (57 bezoeken), terwijl OpenAI 226 verzoeken per bezoek nodig had (7.018 bezoeken). Het zware crawlen verbruikt bandbreedte, rekenkracht, schijfruimte en monitoringbronnen, en bemoeilijkt het meten van het publiek. ActuIA blijft open voor AI-crawlers en heeft llms.txt geïmplementeerd, maar stelt dat openheid zonder compensatie geen levensvatbaar economisch model is. Het merkt op dat Cloudflare 'Pay per crawl' heeft geïntroduceerd en dat de EU-regels voor tekst- en datamining rechthebbenden de mogelijkheid bieden om af te zien, maar dat er een bredere verschuiving in de industrie nodig is om ervoor te zorgen dat contentproducenten een eerlijke vergoeding ontvangen.