года. ClaudeBot систематически обходил теги, языковые версии и страницы пагинации, особенно после редизайна сайта. ActuIA никогда не блокировал и не ограничивал эти доступы: более 99% запросов возвращали HTTP-код 200. Двухнедельное наблюдение с 29 мая по 12 июня 2026 года показало сравнение запросов краулеров и переходов по ссылкам: Anthropic потребовалось 3268 запросов на одно посещение (57 посещений), тогда как OpenAI — 226 запросов на посещение (7018 посещений). Интенсивный обход потребляет пропускную способность, вычислительные ресурсы, дисковое пространство и ресурсы мониторинга, а также усложняет измерение аудитории. ActuIA остаётся открытым для ИИ-краулеров, внедрил llms.txt, но утверждает, что открытость без компенсации не является жизнеспособной экономической моделью. Отмечается, что Cloudflare ввёл функцию «Pay per crawl» (оплата за обход), а правила Европейского союза об извлечении текстов и данных позволяют правообладателям отказываться от такого использования, однако для обеспечения справедливого вознаграждения производителей контента необходим более широкий отраслевой сдвиг.