106 Millionen ClaudeBot-Anfragen: Was KI-Crawler ein Fachmedium wirklich kosten

ActuIA, ein spezialisiertes KI-Nachrichtenmedium, hat eine Analyse seiner Server-Logs veröffentlicht, die zeigt, dass ClaudeBot, der KI-Crawler von Anthropic, zwischen Februar 2025 und Mai 2026 106.154.885 Anfragen an seine Server gesendet hat. Die Anfragevolumina waren bis zum Herbst 2025 moderat, explodierten jedoch ab Dezember 2025 und erreichten im April 2026 Spitzenwerte von über 25 Millionen, wobei ClaudeBot systematisch durch Tags, Sprachversionen und Paginierungsseiten navigierte, insbesondere nach einem Relaunch der Website. ActuIA hat diese Zugriffe nie blockiert oder eingeschränkt, wobei über 99 % der Anfragen den HTTP-Status 200 zurückgaben. Eine zweiwöchige Beobachtung vom 29. Mai bis 12. Juni 2026 verglich Crawler-Anfragen mit Besuchern über Verweise: Anthropic benötigte 3.268 Anfragen pro Besuch (57 Besuche), während OpenAI 226 Anfragen pro Besuch benötigte (7.018 Besuche). Das intensive Crawling verbraucht Bandbreite, Rechenleistung, Speicherplatz und Überwachungsressourcen und erschwert die Messung der Zielgruppen. ActuIA bleibt offen für KI-Crawler, hat llms.txt implementiert, argumentiert jedoch, dass Offenheit ohne Kompensation kein tragfähiges Wirtschaftsmodell sei. Es weist darauf hin, dass Cloudflare ein Modell namens „Pay per crawl“ eingeführt hat und dass die EU-Regeln für Text- und Data Mining es Rechteinhabern ermöglichen, der Nutzung zu widersprechen, aber eine breitere Branchenänderung erforderlich ist, um sicherzustellen, dass Inhaltsproduzenten einen fairen Wert erhalten.