Web Sitemin Trafiğinin Yüzde 99'u Botlardan Oluşuyor
Anthropic
Amazon/AWS
Bir blog yazısında, ABD merkezli bir hayırsever veritabanı olan PatronView'ın kurucusu, site trafiğinin yüzde 99'unu oluşturan yapay zeka ve arama motoru botlarına karşı verdiği bir yıllık mücadeleyi paylaşıyor. Çin ve Vietnam'dan gelen büyük miktardaki istek akınını, Claude gibi yapay zeka tarayıcılarının yüksek kazıma ziyaretçi oranlarını ve Cloudflare kullanarak oluşturduğu güvenlik duvarı kurallarını ayrıntılı olarak anlatıyor. Gerçek trafiği görmek için sunucu tarafı analizlerinin kullanılmasının önemini vurguluyor, çünkü JavaScript tabanlı araçlar çoğu bot etkinliğini gözden kaçırıyor.
Blog yazısında, ABD'li hayırseverlerin veritabanı olan PatronView'ı geliştiren yazar, botlara karşı verdiği bir yıllık mücadeleyi detaylandırıyor. Sunucusu bir haftada 2,5 milyon isteğe yanıt verdi ve 1,28 milyon sayfa teslim etti, ancak yalnızca 5.977'si insan görüntülemesiydi, yani trafiğin %0,5'inden azı insan kaynaklı. Başlangıçta SemrushBot gibi SEO tarayıcılarını robots.txt ve Cloudflare kurallarıyla engelledi, ardından Nisan 2026'da büyük bir Çin bot dalgası geldi ve bir günde 3,6 milyon istek yapıldı, bu da onu Çin, Vietnam ve Singapur'u engellemeye yöneltti. Ayrıca Anthropic'in Claude-SearchBot'unun gönderdiği her ziyaretçi başına 35.000 sayfa kazıdığını, bu yüzden onu engellediğini belirtiyor. Rufus ve Alexa için kullanılan Amazon'un Amzn-SearchBot'u, trafik göndermeden günde 117.000 sayfa kazıdı, bu yüzden onu da engelledi. JavaScript Algılamalarını, konut bot ağlarıyla mücadele etmek için veri merkezleri ve eski tarayıcı sürümleri için özel bir zorlukla değiştirdi ve belirli ülkeleri ve bilinen SEO botlarını engellemeyi, bulut sağlayıcılarından ve güncel olmayan tarayıcılardan gelen isteklere meydan okumayı içeren belirli Cloudflare WAF kurallarını paylaşıyor.
Kaynak: Habr — хаб ИИ —
orijinal