AI 봇들이 TLS 인증서 로그를 스캔: LLM 훈련에 어떤 정보든 사용

휴먼 시큐리티(Human Security)의 'AI 트래픽 현황(State of AI Traffic)' 보고서는 AI 봇 활동이 극적으로 증가했음을 보여준다. AI 에이전트 트래픽은 7,851%, AI 스크래퍼 트래픽은 597%, 전체 AI 트래픽은 187% 증가했으며, 이는 인간 트래픽보다 8배 빠르게 성장한 수치다. 2026년 초가 되면 AI 트래픽이 공식적으로 인간 트래픽을 추월했고, 이커머스나 미디어와 같은 콘텐츠가 풍부한 사이트의 방문 중 거의 90%를 봇이 차지했다. 가짜 계정은 기하급수적으로 증가하고 있다. 전문가들은 콘텐츠가 LLM(대규모 언어 모델) 훈련을 위해 봇에 의해 즉시 소비되면서 인간 트래픽이 급감해(예: 기술 미디어 방문 50% 이상 감소) 이것이 개방형 웹의 종말이라고 부른다. 퍼블리셔들은 콘텐츠를 페이월 뒤로 이동시키고 인터넷 아카이브(Internet Archive)조차 차단하고 있다. 봇들은 또한 TLS 인증서 로그(인증서 투명성 로그, Certificate Transparency logs)를 스캔해 크롤링할 새로운 도메인을 발견한다. 이 보고서는 휴먼 디펜스 플랫폼(Human Defense Platform) 데이터에 기반한다. 클라우드플레어(Cloudflare) CEO 매튜 프린스(Matthew Prince)는 이러한 전환점이 2027년에 발생할 것이라고 예측했지만, 실제로는 2026년에 더 일찍 발생했다. 또한, 데이터 중개업체는 이제 LLM 훈련을 위해 내부 회사 커뮤니케이션 아카이브를 판매하며, 기업들은 채팅 로그, 이메일, 비디오 녹화를 사용해 직원의 '디지털 트윈'을 만들어 직원이 퇴사할 경우 그 기술을 복제한다.