Odeist AI

Aprenda › Glossário

Rastreador de IA

Um rastreador de IA é um bot que busca páginas da web para uma empresa de IA, seja para treinar modelos, seja para responder às perguntas das pessoas com busca. As duas tarefas costumam ter bots diferentes, e você pode permitir um e bloquear o outro.

A OpenAI usa o GPTBot para rastrear conteúdo que pode ser usado para treinar seus modelos, e o OAI-SearchBot para mostrar sites nos recursos de busca do ChatGPT; ela diz que cada configuração é independente das outras.[1] A Anthropic usa o ClaudeBot para treinamento, o Claude-SearchBot para busca e o Claude-User quando uma pessoa pergunta ao Claude sobre uma página, e diz que seus bots respeitam o robots.txt.[2] A Perplexity diz que o PerplexityBot mostra sites e linka para eles nos resultados de busca e não é usado para treinar modelos fundacionais de IA.[3]

O Google-Extended é diferente: não é um rastreador, e sim um token do robots.txt que controla se o conteúdo rastreado pelo Google pode ser usado nos modelos Gemini, e o Google diz que ele não afeta a inclusão nem o ranking de um site na Pesquisa Google.[4]

Relacionados

Fontes

  1. OpenAI: Overview of OpenAI crawlers, lido em 6 de novembro de 2026
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, lido em 6 de novembro de 2026
  3. Perplexity: Perplexity crawlers, lido em 6 de novembro de 2026
  4. Google Search Central: Google’s common crawlers (Google-Extended), lido em 6 de novembro de 2026

Atualizado em 6 de novembro de 2026. Algo errado ou desatualizado? Escreva para connect@odeist.com (assunto: Correção: Rastreador de IA).

Comece grátis 7 dias grátis, sem precisar de cartão.