106 triệu yêu cầu từ ClaudeBot: chi phí thực sự mà các trình thu thập dữ liệu AI gây ra cho một trang tin chuyên ngành

ActuIA, một trang tin tức chuyên về AI, đã công bố phân tích nhật ký máy chủ cho thấy từ tháng 2 năm 2025 đến tháng 5 năm 2026, ClaudeBot, trình thu thập thông tin AI của Anthropic, đã gửi 106.154.885 yêu cầu đến máy chủ của họ. Lượng yêu cầu ở mức khiêm tốn cho đến mùa thu năm 2025 nhưng bùng nổ từ tháng 12 năm 2025, đạt đỉnh hơn 25 triệu vào tháng 4 năm 2026, với việc ClaudeBot thu thập dữ liệu một cách có hệ thống qua các thẻ, phiên bản ngôn ngữ và trang phân trang, đặc biệt sau khi trang web được thiết kế lại. ActuIA chưa bao giờ chặn hoặc giới hạn các truy cập này, với hơn 99% yêu cầu trả về HTTP 200. Một quan sát kéo dài hai tuần từ ngày 29 tháng 5 đến ngày 12 tháng 6 năm 2026 đã so sánh yêu cầu từ trình thu thập với khách truy cập giới thiệu: Anthropic cần 3.268 yêu cầu cho mỗi lượt truy cập (57 lượt truy cập), trong khi OpenAI cần 226 yêu cầu cho mỗi lượt truy cập (7.018 lượt truy cập). Việc thu thập dữ liệu nặng nề tiêu tốn băng thông, điện toán, đĩa và tài nguyên giám sát, đồng thời làm phức tạp việc đo lường khán giả. ActuIA vẫn cởi mở với các trình thu thập AI, đã triển khai llms.txt, nhưng lập luận rằng sự cởi mở mà không có đền bù không phải là một mô hình kinh tế khả thi. Họ lưu ý rằng Cloudflare đã giới thiệu 'Pay per crawl' và các quy định về khai thác văn bản và dữ liệu của EU cho phép chủ sở hữu quyền chọn không tham gia, nhưng cần có sự thay đổi rộng rãi hơn trong ngành để đảm bảo các nhà sản xuất nội dung nhận được giá trị công bằng.