Common Crawl

允许哪些 AI 爬虫出现在 robots.txt 中，以便你的网站在 2026 年进入 AI 回答

文章探讨了网站对 AI 助手不可见的问题：尽管常规索引正常，但 robots.txt 常常阻止了训练和实时机器人的访问。它提供了相关爬虫列表（GPTBot、PerplexityBot、Google-Extended 等），以及配置访问和检查日志的技巧。

OpenAI Anthropic Perplexity AI Google/DeepMind Яндекс Сбер Apple Common Crawl