106 Juta Permintaan ClaudeBot: Biaya Nyata Perayap AI bagi Media Khusus

ActuIA, sebuah media berita AI khusus, telah menerbitkan analisis log server mereka yang menunjukkan bahwa antara Februari 2025 dan Mei 2026, ClaudeBot, crawler AI milik Anthropic, mengirim 106.154.885 permintaan ke server mereka. Volume permintaan masih moderat hingga musim gugur 2025, tetapi melonjak tajam mulai Desember 2025, mencapai puncak lebih dari 25 juta pada April 2026, dengan ClaudeBot menjelajahi secara sistematis melalui tag, versi bahasa, dan halaman paginasi, terutama setelah desain ulang situs. ActuIA tidak pernah memblokir atau membatasi akses ini, dengan lebih dari 99% permintaan mengembalikan HTTP 200. Pengamatan dua minggu dari 29 Mei hingga 12 Juni 2026 membandingkan permintaan crawler dengan pengunjung rujukan: Anthropic membutuhkan 3.268 permintaan per kunjungan (57 kunjungan), sementara OpenAI membutuhkan 226 permintaan per kunjungan (7.018 kunjungan). Perayapan yang intensif ini mengonsumsi bandwidth, komputasi, disk, dan sumber daya pemantauan, serta mempersulit pengukuran audiens. ActuIA tetap terbuka untuk crawler AI, telah mengimplementasikan llms.txt, tetapi berpendapat bahwa keterbukaan tanpa kompensasi bukanlah model ekonomi yang layak. Mereka mencatat bahwa Cloudflare telah memperkenalkan 'Bayar per perayapan' dan bahwa aturan penambangan teks dan data Uni Eropa memungkinkan pemegang hak untuk memilih keluar, tetapi perubahan industri yang lebih luas diperlukan untuk memastikan produsen konten menerima nilai yang adil.