99% meines Website-Traffics sind Bots
Anthropic
Amazon/AWS
In einem Blogbeitrag teilt der Gründer von PatronView, einer US-amerikanischen Philanthropen-Datenbank, seinen einjährigen Kampf gegen KI- und SEO-Bots, die 99% des Traffics auf seiner Website ausmachten. Er beschreibt einen massiven Zustrom von Anfragen aus China und Vietnam, das hohe Scrape-zu-Besucher-Verhältnis von KI-Crawlern wie Claude und seine Firewall-Regeln mit Cloudflare. Er betont, wie wichtig es ist, serverseitige Analysen zu nutzen, um echten Traffic zu sehen, da JavaScript-basierte Tools den Großteil der Bot-Aktivitäten übersehen.
In seinem Blogbeitrag beschreibt der Autor, der PatronView, eine Datenbank US-amerikanischer Philanthropen, aufgebaut hat, ausführlich seinen einjährigen Kampf gegen Bots. Sein Server beantwortete in einer Woche 2,5 Millionen Anfragen und lieferte 1,28 Millionen Seiten aus, aber nur 5.977 davon waren menschliche Aufrufe, was bedeutet, dass weniger als 0,5 % des Traffics von Menschen stammt. Zunächst blockierte er SEO-Crawler wie SemrushBot über robots.txt und Cloudflare-Regeln, dann traf ihn im April 2026 eine riesige Welle chinesischer Bots mit 3,6 Millionen Anfragen an einem Tag, woraufhin er China, Vietnam und Singapur blockierte. Er stellt außerdem fest, dass Anthropics Claude-SearchBot 35.000 Seiten pro Besucher abruft, den es schickt, weshalb er es blockierte. Amazons Amzn-SearchBot, der für Rufus und Alexa verwendet wird, schabte 117.000 Seiten pro Tag ab, ohne Traffic zu senden, also blockierte er auch diesen. Er ersetzte JavaScript-Erkennungen durch eine eigene Herausforderung für Rechenzentren und ältere Browserversionen, um gegen Residential-Botnets vorzugehen, und er teilt seine spezifischen Cloudflare-WAF-Regeln, die das Blockieren bestimmter Länder und bekannter SEO-Bots sowie das Herausfordern von Anfragen von Cloud-Anbietern und veralteten Browsern umfassen.
Quelle: Habr — хаб ИИ —
Original