Time Sajikan Versi Markdown Sederhana untuk Bot AI dengan Iklan Tertanam

Majalah Time mulai menyajikan versi situs web yang terpisah dan disederhanakan untuk bot AI, berbeda dari yang dilihat pengguna biasa. Alih-alih halaman HTML standar, beberapa layanan AI menerima konten berformat Markdown yang ringkas dengan blok iklan yang disematkan. Seorang pengembang dari Vroni.com memperhatikan perilaku yang tidak biasa ini saat membandingkan respons server dengan nilai User-Agent yang berbeda. Saat diakses oleh Chrome, Safari, dan Googlebot, Time mengembalikan halaman HTML standar sekitar 303 KB, tetapi saat diakses oleh ClaudeBot, PerplexityBot, dan OAI-SearchBot, halaman tersebut mengembalikan versi Markdown yang disederhanakan sekitar 13 KB tanpa gaya, gambar, atau skrip, yang dirancang untuk pemrosesan cepat oleh model AI. GPTBot dan ChatGPT-User menerima kesalahan 406, yang menunjukkan pendekatan selektif terhadap berbagai jenis bot AI. Versi Markdown dibuat menggunakan platform periklanan Mobian, memberikan pengidentifikasi unik untuk setiap permintaan, dan menyertakan header yang mencegah cache serta melacak penggunaan token melalui parameter x-mobian-tokens, yang berarti monetisasi didasarkan pada token yang dikonsumsi oleh AI, bukan pada jumlah tampilan halaman. Kontennya juga berbeda: misalnya, bot AI melihat bagian bersponsor dari Ally Bank dalam kompilasi 'Penemuan Terbaik 2025', sementara pengguna biasa melihat iklan yang berbeda dari Project Management Institute (PMI), dan kiriman bersponsor tersebut ditandai seperti itu tetapi hanya ditampilkan kepada bot AI. Time melaporkan bahwa pada hari-hari tertentu, lalu lintas bot AI melebihi kunjungan pengguna biasa, sementara Googlebot masih menerima versi HTML yang sama seperti manusia.