Qué rastreadores de IA permitir en robots.txt para que tu sitio aparezca en las respuestas de IA en 2026
El artículo examina el problema de la invisibilidad de los sitios web para los asistentes de IA: a menudo, el archivo robots.txt bloquea el acceso tanto para los bots de entrenamiento como para los bots en tiempo real, aunque el indexado normal funciona correctamente. Proporciona una lista de rastreadores relevantes (GPTBot, PerplexityBot, Google-Extended, entre otros), junto con consejos para configurar el acceso y revisar los registros.
OpenAI
Anthropic
Perplexity AI
Google/DeepMind
Яндекс
Сбер
Apple
Common Crawl
Habr — хаб ИИ27.07 · 00:01