10.6 करोड़ ClaudeBot अनुरोध: विशेषीकृत मीडिया आउटलेट के लिए AI क्रॉलर की वास्तविक लागत
Anthropic
OpenAI
ActuIA, जो AI क्रॉलर को अनुमति देता है, रिपोर्ट करता है कि ClaudeBot ने फरवरी 2025 से मई 2026 के बीच अपने सर्वरों पर 10.6 करोड़ से अधिक अनुरोध भेजे, दिसंबर 2025 से तेज वृद्धि के साथ। दो सप्ताह के तुलनात्मक विश्लेषण से पता चला कि Anthropic के क्रॉलर ने OpenAI की तुलना में प्रति अनुरोध बहुत कम रेफरल विज़िट उत्पन्न की, जिससे सामग्री निर्माताओं को मिलने वाले मूल्य पर प्रश्न उठते हैं।
ActuIA, एक विशेष AI समाचार मीडिया, ने अपने सर्वर लॉग का विश्लेषण प्रकाशित किया है जिसमें दिखाया गया है कि फरवरी 2025 और मई 2026 के बीच, Anthropic का AI क्रॉलर ClaudeBot ने उसके सर्वरों पर 106,154,885 अनुरोध भेजे। अनुरोधों की मात्रा शरद ऋतु 2025 तक मामूली थी, लेकिन दिसंबर 2025 से विस्फोटक रूप से बढ़ी, अप्रैल 2026 में 25 मिलियन से अधिक की चोटियों तक पहुँची, जिसमें ClaudeBot ने टैग, भाषा संस्करणों और पृष्ठन पृष्ठों के माध्यम से व्यवस्थित रूप से अन्वेषण किया, विशेष रूप से साइट के पुनः डिज़ाइन के बाद। ActuIA ने इन पहुँचों को कभी अवरुद्ध या सीमित नहीं किया, 99% से अधिक अनुरोधों पर HTTP 200 प्रतिक्रिया मिली। 29 मई से 12 जून 2026 तक के दो-सप्ताह के अवलोकन ने क्रॉलर अनुरोधों की तुलना रेफरल विज़िटरों से की: Anthropic को प्रति विज़िट 3,268 अनुरोधों की आवश्यकता थी (57 विज़िट), जबकि OpenAI को प्रति विज़िट 226 अनुरोधों की (7,018 विज़िट)। भारी क्रॉलिंग बैंडविड्थ, कंप्यूटिंग, डिस्क और निगरानी संसाधनों का उपभोग करती है, और दर्शक मापन को जटिल बनाती है। ActuIA AI क्रॉलरों के लिए खुला रहने को तैयार है, उसने llms.txt लागू किया है, लेकिन तर्क देता है कि बिना मुआवज़े के खुलापन एक व्यवहार्य आर्थिक मॉडल नहीं है। वह नोट करता है कि Cloudflare ने 'Pay per crawl' पेश किया है और EU के पाठ और डेटा खनन नियम अधिकार धारकों को बाहर निकलने की अनुमति देते हैं, लेकिन सामग्री निर्माताओं को उचित मूल्य सुनिश्चित करने के लिए व्यापक उद्योग परिवर्तन की आवश्यकता है।
स्रोत: ActuIA —
मूल