타임지, AI 봇에 광고 내장된 간소화된 마크다운 버전 사이트 제공

타임지가 AI 봇에게 일반 사용자에게 보여주는 것과는 별개로, 단순화된 자체 웹사이트 버전을 제공하기 시작했다. 표준 HTML 페이지 대신 일부 AI 서비스는 광고 블록이 포함된 간결한 Markdown 형식의 콘텐츠를 받는다. Vroni.com의 한 개발자는 서로 다른 사용자 에이전트 값으로 서버 응답을 비교하던 중 이 특이한 동작을 발견했다. Chrome, Safari 및 Googlebot으로 접근했을 때 타임지는 약 303KB의 표준 HTML 페이지를 반환했지만, ClaudeBot, PerplexityBot 및 OAI-SearchBot으로 접근했을 때는 스타일, 이미지 또는 스크립트가 없는, AI 모델이 빠르게 처리하도록 설계된 약 13KB의 축소된 Markdown 버전을 반환했다. GPTBot 및 ChatGPT-User는 406 오류를 받았는데, 이는 다양한 유형의 AI 봇에 대해 선택적인 접근 방식을 취하고 있음을 나타낸다. Markdown 버전은 Mobian의 광고 플랫폼을 사용하여 생성되며, 각 요청에 고유 식별자를 할당하고, 캐싱을 방지하는 헤더를 포함하며, x-mobian-tokens 매개변수를 통해 토큰 사용량을 추적한다. 즉, 수익화는 페이지 조회수가 아닌 AI가 소비하는 토큰 수를 기준으로 한다. 콘텐츠도 다르다. 예를 들어, AI 봇은 '2025년 최고의 발명품' 모음에서 Ally Bank의 스폰서 섹션을 보는 반면, 일반 사용자는 프로젝트 관리 연구소(PMI)의 다른 광고를 보며, 이러한 스폰서 게시물은 스폰서 게시물로 표시되지만 AI 봇에게만 표시된다. 타임지는 어떤 날에는 AI 봇 트래픽이 일반 사용자 방문을 초과한다고 보고하며, Googlebot은 여전히 사람과 동일한 HTML 버전을 받는다.