Aprenda › Resposta
Devo bloquear os rastreadores de IA no robots.txt?
Resposta curta: A maioria dos negócios que querem clientes deve liberar os bots de busca com IA e decidir à parte sobre os bots de treinamento. Os bots de busca, como o OAI-SearchBot da OpenAI, o Claude-SearchBot da Anthropic e o PerplexityBot, decidem se você pode ser encontrado e linkado nas respostas de IA. Os bots de treinamento, como o GPTBot e o ClaudeBot, coletam conteúdo para treinar modelos. Você pode bloquear um tipo e liberar o outro.
Bots de busca: o que bloquear custa para você
- O OAI-SearchBot, da OpenAI, é usado para mostrar sites nos recursos de busca do ChatGPT; os sites que optam por sair não aparecem nas respostas de busca do ChatGPT, embora ainda possam aparecer como links de navegação.[1]
- O Claude-SearchBot, da Anthropic, melhora os resultados de busca para os usuários do Claude; bloqueá-lo significa que o seu conteúdo não é indexado para a busca, o que pode reduzir a sua visibilidade nas respostas do Claude.[2]
- O PerplexityBot mostra sites e linka para eles nos resultados de busca da Perplexity e não é usado para treinar modelos fundacionais.[3]
Bots de treinamento: você decide
- O GPTBot, da OpenAI, rastreia conteúdo que pode ser usado para treinar os modelos dela. A OpenAI diz que cada configuração é independente, então você pode bloquear o GPTBot e continuar liberando o OAI-SearchBot.[1]
- O ClaudeBot, da Anthropic, coleta conteúdo que pode contribuir para o treinamento; bloqueá-lo exclui o seu conteúdo futuro dos dados de treinamento.[2]
- O Google-Extended é um token do robots.txt, não um rastreador separado. Ele controla o uso do seu conteúdo nos modelos Gemini e, segundo o Google, não afeta a sua inclusão nem o seu ranking na Pesquisa Google.[4]
Fetchers que agem em nome de uma pessoa
Alguns fetchers visitam uma página porque uma pessoa perguntou sobre ela. A Perplexity diz que o Perplexity-User geralmente ignora o robots.txt por esse motivo.[3] A OpenAI diz que o ChatGPT-User não é usado para decidir o que aparece na busca, e que as regras do robots.txt podem não se aplicar a ele.[1] O robots.txt é um pedido, não uma tranca: o próprio protocolo diz que as regras dele não são uma forma de autorização de acesso.[5]
Um robots.txt que libera a busca e bloqueia o treinamento
Cada grupo nomeia um bot com User-agent e lista o que ele não pode buscar com Disallow. Um rastreador segue o grupo que o nomeia, e o grupo “*” só quando nenhum grupo o nomeia.[5] Então, para bloquear GPTBot, ClaudeBot e Google-Extended e liberar todo o resto, dê a eles um grupo próprio com “Disallow: /” e deixe os bots de busca nas suas regras normais. Um bot nomeado no próprio grupo ignora as regras do “*”, então repita as linhas Disallow que ele ainda deve seguir. Teste o arquivo depois de cada mudança.
Perguntas
Quanto tempo o ChatGPT leva para notar uma mudança no robots.txt?
A OpenAI diz que pode levar cerca de 24 horas após uma atualização do robots.txt para os sistemas de busca dela se ajustarem.[1]
A Anthropic respeita o robots.txt?
A Anthropic diz que os bots dela respeitam as diretivas do robots.txt, e observa que bloquear por IP pode não funcionar de forma confiável, porque impede que os bots sequer leiam o arquivo.[2]
Relacionados
Fontes
- OpenAI: Overview of OpenAI crawlers, lido em 6 de novembro de 2026
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, lido em 6 de novembro de 2026
- Perplexity: Perplexity crawlers, lido em 6 de novembro de 2026
- Google Search Central: Google’s common crawlers (Google-Extended), lido em 6 de novembro de 2026
- RFC 9309: Robots Exclusion Protocol, lido em 6 de novembro de 2026
Atualizado em 6 de novembro de 2026. Algo errado ou desatualizado? Escreva para connect@odeist.com (assunto: Correção: Devo bloquear os rastreadores de IA no robots.txt?).
Comece grátis 7 dias grátis, sem precisar de cartão.