1억 600만 건의 ClaudeBot 요청: AI 크롤러가 전문 미디어에 실제로 미치는 비용

ActuIA는 AI 뉴스 전문 미디어로, 자사 서버 로그 분석 결과 2025년 2월부터 2026년 5월 사이에 Anthropic의 AI 크롤러인 ClaudeBot이 서버에 106,154,885건의 요청을 보낸 것을 확인했다고 발표했습니다. 요청량은 2025년 가을까지는 적정 수준이었으나, 2025년 12월부터 폭발적으로 증가하기 시작하여 2026년 4월에는 월 2500만 건을 넘는 정점을 기록했습니다. 특히 사이트 개편 이후에는 ClaudeBot이 태그, 언어 버전, 페이지네이션 페이지를 체계적으로 탐색하는 패턴을 보였습니다. ActuIA는 이러한 접근을 차단하거나 제한하지 않았으며, 요청의 99% 이상이 HTTP 200 응답을 받았습니다. 2026년 5월 29일부터 6월 12일까지 2주간 관찰한 결과, 크롤러 요청과 리퍼러 방문자를 비교한 데이터에서 Anthropic은 방문 1회당 3,268건의 요청(총 57회 방문)을 보낸 반면, OpenAI는 방문 1회당 226건의 요청(총 7,018회 방문)을 보냈습니다. 과도한 크롤링은 대역폭, 컴퓨팅, 디스크 및 모니터링 리소스를 소비하고, 사용자 측정을 복잡하게 만듭니다. ActuIA는 AI 크롤러에 개방적인 입장을 유지하고 있으며 llms.txt를 구현했지만, 보상 없는 개방은 지속 가능한 경제 모델이 아니라고 주장합니다. 또한 Cloudflare가 'Pay per crawl'을 도입했고, EU의 텍스트 및 데이터 마이닝 규정이 권리 보유자에게 옵트아웃을 허용한다는 점을 언급하면서도, 콘텐츠 제작자가 공정한 가치를 보장받기 위해서는 업계 차원의 더 큰 변화가 필요하다고 강조합니다.