Odeist AI

Aprenda › Resposta

Devo bloquear os rastreadores de IA no robots.txt?

Resposta curta: A maioria dos negócios que querem clientes deve liberar os bots de busca com IA e decidir à parte sobre os bots de treinamento. Os bots de busca, como o OAI-SearchBot da OpenAI, o Claude-SearchBot da Anthropic e o PerplexityBot, decidem se você pode ser encontrado e linkado nas respostas de IA. Os bots de treinamento, como o GPTBot e o ClaudeBot, coletam conteúdo para treinar modelos. Você pode bloquear um tipo e liberar o outro.

Bots de busca: o que bloquear custa para você

  • O OAI-SearchBot, da OpenAI, é usado para mostrar sites nos recursos de busca do ChatGPT; os sites que optam por sair não aparecem nas respostas de busca do ChatGPT, embora ainda possam aparecer como links de navegação.[1]
  • O Claude-SearchBot, da Anthropic, melhora os resultados de busca para os usuários do Claude; bloqueá-lo significa que o seu conteúdo não é indexado para a busca, o que pode reduzir a sua visibilidade nas respostas do Claude.[2]
  • O PerplexityBot mostra sites e linka para eles nos resultados de busca da Perplexity e não é usado para treinar modelos fundacionais.[3]

Bots de treinamento: você decide

  • O GPTBot, da OpenAI, rastreia conteúdo que pode ser usado para treinar os modelos dela. A OpenAI diz que cada configuração é independente, então você pode bloquear o GPTBot e continuar liberando o OAI-SearchBot.[1]
  • O ClaudeBot, da Anthropic, coleta conteúdo que pode contribuir para o treinamento; bloqueá-lo exclui o seu conteúdo futuro dos dados de treinamento.[2]
  • O Google-Extended é um token do robots.txt, não um rastreador separado. Ele controla o uso do seu conteúdo nos modelos Gemini e, segundo o Google, não afeta a sua inclusão nem o seu ranking na Pesquisa Google.[4]

Fetchers que agem em nome de uma pessoa

Alguns fetchers visitam uma página porque uma pessoa perguntou sobre ela. A Perplexity diz que o Perplexity-User geralmente ignora o robots.txt por esse motivo.[3] A OpenAI diz que o ChatGPT-User não é usado para decidir o que aparece na busca, e que as regras do robots.txt podem não se aplicar a ele.[1] O robots.txt é um pedido, não uma tranca: o próprio protocolo diz que as regras dele não são uma forma de autorização de acesso.[5]

Um robots.txt que libera a busca e bloqueia o treinamento

Cada grupo nomeia um bot com User-agent e lista o que ele não pode buscar com Disallow. Um rastreador segue o grupo que o nomeia, e o grupo “*” só quando nenhum grupo o nomeia.[5] Então, para bloquear GPTBot, ClaudeBot e Google-Extended e liberar todo o resto, dê a eles um grupo próprio com “Disallow: /” e deixe os bots de busca nas suas regras normais. Um bot nomeado no próprio grupo ignora as regras do “*”, então repita as linhas Disallow que ele ainda deve seguir. Teste o arquivo depois de cada mudança.

Perguntas

Quanto tempo o ChatGPT leva para notar uma mudança no robots.txt?

A OpenAI diz que pode levar cerca de 24 horas após uma atualização do robots.txt para os sistemas de busca dela se ajustarem.[1]

A Anthropic respeita o robots.txt?

A Anthropic diz que os bots dela respeitam as diretivas do robots.txt, e observa que bloquear por IP pode não funcionar de forma confiável, porque impede que os bots sequer leiam o arquivo.[2]

Relacionados

Fontes

  1. OpenAI: Overview of OpenAI crawlers, lido em 6 de novembro de 2026
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, lido em 6 de novembro de 2026
  3. Perplexity: Perplexity crawlers, lido em 6 de novembro de 2026
  4. Google Search Central: Google’s common crawlers (Google-Extended), lido em 6 de novembro de 2026
  5. RFC 9309: Robots Exclusion Protocol, lido em 6 de novembro de 2026

Atualizado em 6 de novembro de 2026. Algo errado ou desatualizado? Escreva para connect@odeist.com (assunto: Correção: Devo bloquear os rastreadores de IA no robots.txt?).

Comece grátis 7 dias grátis, sem precisar de cartão.