Time serveert AI-bots een uitgeklede Markdown-versie van zijn site met ingebouwde advertenties

Time magazine is begonnen met het serveren van een aparte, vereenvoudigde versie van zijn website aan AI-bots, verschillend van wat reguliere gebruikers zien. In plaats van standaard HTML-pagina's ontvangen sommige AI-diensten compacte Markdown-geformatteerde inhoud met ingebouwde advertentieblokken. Een ontwikkelaar van Vroni.com merkte dit ongebruikelijke gedrag op tijdens het vergelijken van serverreacties met verschillende User-Agent-waarden. Bij toegang via Chrome, Safari en Googlebot retourneerde Time standaard HTML-pagina's van ongeveer 303 KB, maar bij toegang via ClaudeBot, PerplexityBot en OAI-SearchBot retourneerde het een uitgeklede Markdown-versie van ongeveer 13 KB zonder opmaak, afbeeldingen of scripts, ontworpen voor snelle verwerking door AI-modellen. GPTBot en ChatGPT-User kregen een 406-fout, wat duidt op een selectieve benadering van verschillende soorten AI-bots. De Markdown-versie wordt gemaakt met behulp van Mobian's advertentieplatform, kent een unieke identificatie toe aan elk verzoek en bevat headers die caching voorkomen en tokenverbruik bijhouden via een x-mobian-tokens-parameter, wat betekent dat monetisatie is gebaseerd op tokens die door AI worden verbruikt in plaats van op paginaweergaven. Inhoud verschilt ook: bijvoorbeeld, AI-bots zien een gesponsorde sectie van Ally Bank in een compilatie van 'Beste Uitvindingen van 2025', terwijl reguliere gebruikers een andere advertentie zien van het Project Management Institute (PMI), en dergelijke gesponsorde berichten worden als zodanig gemarkeerd, maar alleen getoond aan AI-bots. Time meldt dat op sommige dagen AI-botverkeer groter is dan het aantal bezoeken van reguliere gebruikers, terwijl Googlebot nog steeds dezelfde HTML-versie ontvangt als mensen.