Time serve versão Markdown simplificada de seu site para bots de IA, com anúncios embutidos

A revista Time começou a servir aos bots de IA uma versão separada e simplificada do seu site, distinta daquela que os usuários comuns veem. Em vez de páginas HTML padrão, alguns serviços de IA recebem conteúdo compacto em formato Markdown com blocos de anúncios embutidos. Um desenvolvedor da Vroni.com notou esse comportamento incomum ao comparar as respostas do servidor com diferentes valores de User-Agent. Quando acessada pelo Chrome, Safari e Googlebot, a Time retornava páginas HTML padrão de cerca de 303 KB, mas quando acessada por ClaudeBot, PerplexityBot e OAI-SearchBot, retornava uma versão Markdown reduzida de cerca de 13 KB, sem estilos, imagens ou scripts, projetada para processamento rápido por modelos de IA. GPTBot e ChatGPT-User receberam um erro 406, indicando uma abordagem seletiva em relação a diferentes tipos de bots de IA. A versão Markdown é criada usando a plataforma de publicidade da Mobian, atribui um identificador único a cada solicitação e inclui cabeçalhos que impedem o cache e rastreiam o uso de tokens por meio de um parâmetro x-mobian-tokens, ou seja, a monetização é baseada nos tokens consumidos pela IA, e não nas visualizações de página. O conteúdo também difere: por exemplo, os bots de IA veem uma seção patrocinada do Ally Bank em uma compilação de 'Melhores Invenções de 2025', enquanto os usuários comuns veem um anúncio diferente do Project Management Institute (PMI), e esses posts patrocinados são marcados como tal, mas só são mostrados aos bots de IA. A Time relata que em alguns dias o tráfego de bots de IA supera as visitas de usuários regulares, enquanto o Googlebot ainda recebe a mesma versão HTML que os humanos.