Каких AI-краулеров пускать в robots.txt, чтобы сайт попадал в ответы ИИ в 2026 году
В статье разбирается проблема невидимости сайтов для ИИ-помощников: часто robots.txt запрещает доступ ботам обучения и реального времени, хотя обычная индексация в порядке. Приводится список актуальных краулеров (GPTBot, PerplexityBot, Google-Extended и др.), даны рекомендации по настройке доступа и проверке логов.
Автор описывает типичную ситуацию: сайт хорошо индексируется в Google и Яндекс, но не появляется в ответах ChatGPT из-за того, что в robots.txt стоит Disallow для GPTBot, ClaudeBot и PerplexityBot. Существует два типа ИИ-краулеров: предназначенные для обучения моделей (GPTBot, ClaudeBot, CCBot) и работающие в реальном времени (OAI-SearchBot, PerplexityBot, ChatGPT-User). Чтобы появляться в
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал