Каких AI-краулеров пускать в robots.txt, чтобы сайт попадал в ответы ИИ в 2026 году
В статье разбирается проблема невидимости сайтов для ИИ-помощников: часто robots.txt запрещает доступ ботам обучения и реального времени, хотя обычная индексация в порядке. Приводится список актуальных краулеров (GPTBot, PerplexityBot, Google-Extended и др.), даны рекомендации по настройке доступа и проверке логов.
Habr — хаб ИИ27.07 · 00:01