Time phục vụ bot AI phiên bản Markdown tinh gọn của trang web kèm quảng cáo nhúng

Tạp chí Time đã bắt đầu phục vụ các bot AI một phiên bản website đơn giản hóa, riêng biệt, khác với những gì người dùng thông thường thấy. Thay vì các trang HTML tiêu chuẩn, một số dịch vụ AI nhận được nội dung định dạng Markdown gọn nhẹ với các khối quảng cáo được nhúng. Một nhà phát triển từ Vroni.com đã chú ý đến hành vi bất thường này khi so sánh phản hồi của máy chủ với các giá trị User-Agent khác nhau. Khi truy cập bằng Chrome, Safari và Googlebot, Time trả về các trang HTML tiêu chuẩn khoảng 303 KB, nhưng khi truy cập bằng ClaudeBot, PerplexityBot và OAI-SearchBot, nó trả về phiên bản Markdown được rút gọn khoảng 13 KB, không có định dạng, hình ảnh hoặc tập lệnh, được thiết kế để xử lý nhanh bởi các mô hình AI. GPTBot và ChatGPT-User nhận được lỗi 406, cho thấy cách tiếp cận có chọn lọc đối với các loại bot AI khác nhau. Phiên bản Markdown được tạo bằng nền tảng quảng cáo của Mobian, gán một mã định danh duy nhất cho mỗi yêu cầu và bao gồm các tiêu đề ngăn lưu trữ bộ nhớ đệm (cache) và theo dõi việc sử dụng token thông qua tham số x-mobian-tokens, nghĩa là việc kiếm tiền dựa trên token mà AI tiêu thụ thay vì số lượt xem trang. Nội dung cũng khác nhau: ví dụ, bot AI thấy một mục được tài trợ từ Ngân hàng Ally trong danh sách 'Những phát minh tốt nhất năm 2025', trong khi người dùng thông thường thấy một quảng cáo khác từ Viện Quản lý Dự án (PMI), và các bài đăng được tài trợ như vậy được đánh dấu là như vậy nhưng chỉ hiển thị cho bot AI. Time báo cáo rằng vào một số ngày, lưu lượng truy cập từ bot AI vượt quá số lượt truy cập của người dùng thông thường, trong khi Googlebot vẫn nhận được phiên bản HTML giống như con người.