ответах ИИ, необходимо разрешить доступ ботам из рабочего списка по состоянию на конец июля 2026 года, включая GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended, YandexBot/YandexAI, GigaChat, Applebot-Extended, CCBot. Рекомендуется проверять robots.txt ежеквартально, так как появляются новые агенты пользователей (например, Google переименовал NotebookLM в Google-GeminiNotebook). Robots.txt — это лишь первый уровень; проблемы могут возникать из-за Content-Security-Policy, отсутствия SSR (боты не видят контент, загружаемый через JS) и бесконечного скролла. Для проверки доступа автор предлагает grep по логам и curl с подменой User-Agent. Три распространённые ошибки: устаревший robots.txt, блокировка легитимных ботов защитой CDN и ложная уверенность в том, что индексация гарантирует доступ ИИ-краулеров. Исправление в описанном случае заняло 15 минут и быстро привело к росту упоминаний в ChatGPT и Perplexity.