2026年にAI回答にサイトを表示させるためにrobots.txtで許可すべきAIクローラーとは

著者は典型的な状況を説明しています。GoogleとYandexでよくインデックスされているウェブサイトが、robots.txtでGPTBot、ClaudeBot、PerplexityBotに対してDisallowを設定しているため、ChatGPTの応答に表示されないというものです。AIクローラーには、モデル学習用（GPTBot、ClaudeBot、CCBot）とリアルタイム用（OAI-SearchBot、PerplexityBot、ChatGPT-User）の2種類があります。AIの回答に表示されるようにするには、2026年7月末時点の稼働リストに含まれるボットへのアクセスを許可する必要があります。具体的には、GPTBot、ChatGPT-User、OAI-SearchBot、ClaudeBot、anthropic-ai、PerplexityBot、Google-Extended、YandexBot / YandexAI、GigaChat、Applebot-Extended、CCBotです。新しいユーザーエージェントが出現するため（例えばGoogleはNotebookLMをGoogle-GeminiNotebookに改名）、robots.txtは四半期ごとに確認することを推奨します。robots.txtは最初の層に過ぎず、Content-Security-Policy、SSRの欠如（ボットがJavaScriptで読み込まれたコンテンツを表示できない）、無限スクロールなどから問題が生じる可能性があります。アクセスを確認するには、著者はログのgrepとUser-Agentの偽装を用いたcurlを提案しています。3つのよくある間違いは、古いrobots.txt、正当なボットをブロックするCDN保護、インデックスされていればAIクローラーのアクセスが保証されるという誤った自信です。説明されたケースでの修正は15分で完了し、すぐにChatGPTとPerplexityでの引用が増加しました。