Welke AI-crawlers toestaan in robots.txt om uw site in AI-antwoorden te krijgen in 2026
Het artikel onderzoekt het probleem van onzichtbaarheid van websites voor AI-assistenten: vaak blokkeert robots.txt de toegang voor trainings- en realtimebots, terwijl normale indexering wel werkt. Het biedt een lijst met relevante crawlers (GPTBot, PerplexityBot, Google-Extended, enz.), samen met tips voor het configureren van toegang en het controleren van logs.
OpenAI
Anthropic
Perplexity AI
Google/DeepMind
Яндекс
Сбер
Apple
Common Crawl
Habr — хаб ИИ27.07 · 00:01