99% всего трафика на моём сайте — это боты
В своём блоге основатель PatronView — базы данных о филантропах США — рассказывает о годичной борьбе с ИИ- и SEO-ботами, которые составляли 99% трафика его сайта. Он описывает массовый наплыв запросов из Китая и Вьетнама, высокое соотношение скрейпинга к визитам у ИИ-краулеров, таких как Claude, и свои правила брандмауэра с использованием Cloudflare. Он подчёркивает важность использования серверной аналитики для оценки реального трафика, поскольку инструменты на основе JavaScript пропускают большую часть активности ботов.
В своём блоге автор, создавший PatronView — базу данных американских филантропов, рассказывает о годовой борьбе с ботами. За одну неделю его сервер обработал 2,5 миллиона запросов и отдал 1,28 миллиона страниц, но лишь 5977 просмотров были совершены людьми — то есть менее 0,5% трафика оказалось человеческим. Сначала он заблокировал SEO-краулеры, такие как SemrushBot, через robots.txt и правила
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал