Hangi AI Tarayıcıları robots.txt'de İzin Verilerek 2026'da AI Cevaplarına Girmeli?
OpenAI
Anthropic
Perplexity AI
Google/DeepMind
Яндекс
Сбер
Apple
Common Crawl
Makale, web sitelerinin AI asistanları için görünmez olma sorununu inceliyor: çoğu zaman robots.txt, eğitim ve gerçek zamanlı botlar için erişimi engelliyor, oysa normal indeksleme sorunsuz çalışıyor. GPTBot, PerplexityBot, Google-Extended gibi ilgili tarayıcıların bir listesini ve erişim yapılandırması ile günlükleri kontrol etme ipuçlarını sunuyor.
Yazar tipik bir durumu anlatıyor: bir web sitesi Google ve Yandex tarafından iyi indeksleniyor, ancak robots.txt dosyasında GPTBot, ClaudeBot ve PerplexityBot için Disallow olduğu için ChatGPT yanıtlarında görünmüyor. İki tür yapay zeka tarayıcısı vardır: model eğitimi için olanlar (GPTBot, ClaudeBot, CCBot) ve gerçek zamanlı olanlar (OAI-SearchBot, PerplexityBot, ChatGPT-User). Yapay zeka yanıtlarında görünmek için, Temmuz 2026 sonu itibarıyla çalışma listesindeki botlara erişime izin vermeniz gerekir; bu botlar arasında GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended, YandexBot/YandexAI, GigaChat, Applebot-Extended, CCBot bulunur. Yeni kullanıcı aracıları ortaya çıktıkça (örneğin, Google, NotebookLM'i Google-GeminiNotebook olarak yeniden adlandırdı) robots.txt dosyasını üç ayda bir kontrol etmeniz önerilir. Robots.txt yalnızca ilk katmandır; Content-Security-Policy, SSR eksikliği (botlar JS ile yüklenen içeriği göremez) ve sonsuz kaydırma gibi sorunlar ortaya çıkabilir. Erişimi kontrol etmek için yazar, günlüklerde grep ve User-Agent kimliğine bürünerek curl kullanılmasını önerir. Üç yaygın hata: güncel olmayan robots.txt, meşru botları engelleyen CDN koruması ve indekslemenin yapay zeka tarayıcı erişimini garanti ettiği yanılgısı. Açıklanan durumda düzeltme 15 dakika sürdü ve ChatGPT ile Perplexity'de alıntıların hızla artmasına yol açtı.
Kaynak: Habr — хаб ИИ —
orijinal