Quais rastreadores de IA permitir no robots.txt para colocar seu site nas respostas de IA em 2026
O artigo examina o problema da invisibilidade de sites para assistentes de IA: muitas vezes o robots.txt bloqueia o acesso para bots de treinamento e em tempo real, mesmo que a indexação regular funcione bem. Ele fornece uma lista de rastreadores relevantes (GPTBot, PerplexityBot, Google-Extended, entre outros), juntamente com dicas para configurar o acesso e verificar logs.
OpenAI
Anthropic
Perplexity AI
Google/DeepMind
Яндекс
Сбер
Apple
Common Crawl
Habr — хаб ИИ27.07 · 00:01