As regras são definidas na RFC 9309, o Robots Exclusion Protocol. Elas precisam ficar em um arquivo chamado /robots.txt, todo em minúsculas, no caminho de nível superior do site.[1] Cada grupo de regras nomeia um ou mais rastreadores com linhas User-agent e lista os caminhos que eles não podem buscar com linhas Disallow.[1]
O robots.txt é um pedido, não uma tranca. A RFC diz que as regras não são uma forma de autorização de acesso.[1] Fetchers que agem em nome de uma pessoa podem se comportar de outro jeito: a Perplexity diz que o fetcher Perplexity-User geralmente ignora o robots.txt porque foi um usuário que pediu a página.[2]
Relacionados
Fontes
- RFC 9309: Robots Exclusion Protocol, lido em 6 de novembro de 2026
- Perplexity: Perplexity crawlers, lido em 6 de novembro de 2026
Atualizado em 6 de novembro de 2026. Algo errado ou desatualizado? Escreva para connect@odeist.com (assunto: Correção: robots.txt).
Comece grátis 7 dias grátis, sem precisar de cartão.