2026年にAI回答にサイトを表示させるためにrobots.txtで許可すべきAIクローラーとは
本記事は、AIアシスタントからサイトが見えなくなる問題を考察しています。多くの場合、robots.txtがトレーニング用やリアルタイム用のボットをブロックしている一方、通常のインデックスは正常に機能しています。GPTBot、PerplexityBot、Google-Extendedなどの関連クローラーのリストと、アクセス設定やログ確認のヒントを提供します。
OpenAI
Anthropic
Perplexity AI
Google/DeepMind
Яндекс
Сбер
Apple
Common Crawl
Habr — хаб ИИ27.07 · 00:01