Time sert aux robots IA une version Markdown allégée de son site avec publicités intégrées

Le magazine Time a commencé à servir aux robots d'IA une version simplifiée et séparée de son site Web, distincte de ce que voient les utilisateurs réguliers. Au lieu de pages HTML standard, certains services d'IA reçoivent un contenu compact au format Markdown avec des blocs publicitaires intégrés. Un développeur de Vroni.com a remarqué ce comportement inhabituel en comparant les réponses du serveur avec différentes valeurs de User-Agent. Lorsqu'il est consulté par Chrome, Safari et Googlebot, Time renvoyait des pages HTML standard d'environ 303 Ko, mais lorsqu'il était consulté par ClaudeBot, PerplexityBot et OAI-SearchBot, il renvoyait une version Markdown allégée d'environ 13 Ko, sans style, images ni scripts, conçue pour un traitement rapide par les modèles d'IA. GPTBot et ChatGPT-User ont reçu une erreur 406, ce qui indique une approche sélective envers différents types de robots d'IA. La version Markdown est créée à l'aide de la plateforme publicitaire de Mobian, attribue un identifiant unique à chaque demande et inclut des en-têtes qui empêchent la mise en cache et suivent l'utilisation de jetons via un paramètre x-mobian-tokens, ce qui signifie que la monétisation est basée sur les jetons consommés par l'IA plutôt que sur les pages vues. Le contenu diffère également : par exemple, les robots d'IA voient une section sponsorisée d'Ally Bank dans une compilation « Meilleures inventions de 2025 », tandis que les utilisateurs réguliers voient une publicité différente du Project Management Institute (PMI), et ces articles sponsorisés sont marqués comme tels mais uniquement montrés aux robots d'IA. Time rapporte que certains jours, le trafic des robots d'IA dépasse celui des utilisateurs réguliers, tandis que Googlebot reçoit toujours la même version HTML que les humains.