AI Bots Scan TLS Certificate Logs: Any Information Used to Train LLMs

회사 Human Security가 발표한 'State of AI Traffic' 보고서에 따르면, 지난 1년간 인터넷의 AI 트래픽이 187% 증가했으며, AI 에이전트 트래픽은 7851%, AI 스크래퍼 트래픽은 597% 증가했습니다. AI 트래픽은 인간 트래픽보다 8배 더 빠르게 성장하고 있습니다. 쇼핑몰과 미디어와 같이 신선한 콘텐츠를 제공하는 사이트가 가장 큰 압박을 받고 있으며, 이들 사이트의 봇 비율은 90%에 육박합니다. 이 보고서는 Human Defense Platform의 데이터를 기반으로 합니다. Cloudflare의 최고경영자(CEO) 매튜 프린스는 2027년까지 AI 봇이 인간 트래픽을 초과할 것이라고 예측했지만, 이는 이미 2026년에 현실이 되었습니다. 전문가들은 이 상황을 '오픈 웹의 종말'이라고 부릅니다. 콘텐츠가 즉시 AI 봇에 의해 흡수되어 대규모 언어 모델(LLM) 학습에 사용되면서 인간 트래픽이 급감하고 있습니다(예: 기술 미디어 방문자 수가 50% 이상 감소). 발행자들은 유료 장벽을 도입하고 심지어 Internet Archive까지 차단하고 있습니다. AI 봇은 TLS 인증서 투명성(Certificate Transparency) 로그까지 스캔하여 크롤링할 새 도메인을 식별합니다. 사용자가 인증서를 등록하면 거의 즉시 첫 방문자가 서버에 도착하는데, 예를 들어 OpenAI의 OAI-SearchBot 봇이 그렇습니다. 또한 LLM 학습을 위해 파산 기업의 정보 아카이브가 구매되고 있으며, 현존 기업들은 직원들의 서신과 파일을 기반으로 '디지털 트윈'을 생성하고 있습니다. 공장에서는 직원들이 비언어적 행동을 녹화하기 위해 머리에 비디오 카메라를 착용하고 작업합니다. 사람이 생성한 모든 콘텐츠(UGC)가 가치를 가지게 되면서, 현재 살아있는 직원들이 특히 높은 수요를 보이고 있습니다.