Quels robots d'IA autoriser dans robots.txt pour que votre site apparaisse dans les réponses d'IA en 2026
OpenAI
Anthropic
Perplexity AI
Google/DeepMind
Яндекс
Сбер
Apple
Common Crawl
L'article examine le problème de l'invisibilité des sites web pour les assistants d'IA : souvent, le fichier robots.txt bloque l'accès aux robots d'entraînement et en temps réel, même si l'indexation normale fonctionne correctement. Il fournit une liste de robots pertinents (GPTBot, PerplexityBot, Google-Extended, etc.), ainsi que des conseils pour configurer l'accès et vérifier les journaux.
L'auteur décrit une situation typique : un site web est bien indexé par Google et Yandex, mais n'apparaît pas dans les réponses de ChatGPT car robots.txt contient une directive 'Disallow' pour GPTBot, ClaudeBot et PerplexityBot. Il existe deux types de robots d'IA : ceux pour l'entraînement des modèles (GPTBot, ClaudeBot, CCBot) et ceux en temps réel (OAI-SearchBot, PerplexityBot, ChatGPT-User). Pour apparaître dans les réponses d'IA, il faut autoriser l'accès aux robots de la liste de travail datant de fin juillet 2026, notamment GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended, YandexBot/YandexAI, GigaChat, Applebot-Extended et CCBot. Il est recommandé de vérifier robots.txt tous les trimestres, car de nouveaux user agents apparaissent (par exemple, Google a renommé NotebookLM en Google-GeminiNotebook). Robots.txt n'est que la première couche ; des problèmes peuvent provenir de Content-Security-Policy, d'un manque de rendu côté serveur (les robots ne voient pas le contenu chargé par JavaScript) et du défilement infini. Pour vérifier l'accès, l'auteur suggère d'utiliser grep sur les logs et curl avec usurpation de User-Agent. Trois erreurs courantes : un robots.txt obsolète, une protection CDN bloquant les robots légitimes, et une fausse confiance que l'indexation garantit l'accès des robots d'IA. La correction dans le cas décrit a pris 15 minutes et a rapidement entraîné une augmentation des citations dans ChatGPT et Perplexity.
Source: Habr — хаб ИИ —
original