99 prosenttia verkkosivustoni liikenteestä on botteja
Anthropic
Amazon/AWS
Blogikirjoituksessaan PatronView-säätiötietokannan perustaja kertoo vuoden mittaisesta taistelustaan tekoäly- ja hakukonebotteja vastaan, jotka muodostivat 99 prosenttia hänen sivustonsa liikenteestä. Hän kuvaa valtavaa pyyntöjen tulvaa Kiinasta ja Vietnamista, tekoälyrobottien, kuten Claude, korkeaa kaapimis- ja vierailijasuhdetta sekä Cloudflarea käyttäviä palomuurisääntöjään. Hän korostaa palvelinpuolen analytiikan käytön tärkeyttä todellisen liikenteen näkemiseksi, koska JavaScript-pohjaiset työkalut jättävät suurimman osan bottitoiminnasta huomaamatta.
Blogikirjoituksessaan kirjoittaja, joka rakensi PatronView'n, yhdysvaltalaisten hyväntekijöiden tietokannan, kertoo vuoden kestäneestä taistelustaan boteja vastaan. Hänen palvelimensa vastasi 2,5 miljoonaan pyyntöön ja toimitti 1,28 miljoonaa sivua viikossa, mutta vain 5 977 niistä oli ihmisten katselukertoja, eli alle 0,5 prosenttia liikenteestä on ihmisistä peräisin. Hän esti aluksi hakukoneiden indeksointirobotit, kuten SemrushBotin, robots.txt-tiedoston ja Cloudflaren sääntöjen avulla. Sitten huhtikuussa 2026 kiinalaisten bottien valtava aalto iski, 3,6 miljoonaa pyyntöä päivässä, minkä seurauksena hän esti Kiinan, Vietnamin ja Singaporen. Hän huomauttaa myös, että Anthropicin Claude-SearchBot raapinsi 35 000 sivua jokaista lähettämäänsä kävijää kohden, joten hän esti sen. Amazonin Amzn-SearchBot, jota käytetään Rufuksessa ja Alexassa, raapinsi 117 000 sivua päivässä lähettämättä lainkaan liikennettä, joten hän esti myös sen. Hän korvasi JavaScript-pohjaiset tunnistukset omalla haasteella, joka kohdistuu datakeskuksiin ja vanhoihin selainversioihin, torjuakseen asuinverkkojen bottiverkkoja. Hän jakaa myös yksityiskohtaiset Cloudflare WAF -sääntönsä, joihin kuuluu tiettyjen maiden ja tunnettujen hakukoneoptimointirobottien estäminen sekä pilvipalveluntarjoajien ja vanhentuneiden selainten pyyntöjen haastaminen.
Lähde: Habr — хаб ИИ —
Alkuperäinen