A OpenAI usa o GPTBot para rastrear conteúdo que pode ser usado para treinar seus modelos, e o OAI-SearchBot para mostrar sites nos recursos de busca do ChatGPT; ela diz que cada configuração é independente das outras.[1] A Anthropic usa o ClaudeBot para treinamento, o Claude-SearchBot para busca e o Claude-User quando uma pessoa pergunta ao Claude sobre uma página, e diz que seus bots respeitam o robots.txt.[2] A Perplexity diz que o PerplexityBot mostra sites e linka para eles nos resultados de busca e não é usado para treinar modelos fundacionais de IA.[3]
O Google-Extended é diferente: não é um rastreador, e sim um token do robots.txt que controla se o conteúdo rastreado pelo Google pode ser usado nos modelos Gemini, e o Google diz que ele não afeta a inclusão nem o ranking de um site na Pesquisa Google.[4]
Relacionados
Fontes
- OpenAI: Overview of OpenAI crawlers, lido em 6 de novembro de 2026
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, lido em 6 de novembro de 2026
- Perplexity: Perplexity crawlers, lido em 6 de novembro de 2026
- Google Search Central: Google’s common crawlers (Google-Extended), lido em 6 de novembro de 2026
Atualizado em 6 de novembro de 2026. Algo errado ou desatualizado? Escreva para connect@odeist.com (assunto: Correção: Rastreador de IA).
Comece grátis 7 dias grátis, sem precisar de cartão.