Les règles sont définies dans la RFC 9309, le Robots Exclusion Protocol. Elles doivent se trouver dans un fichier nommé /robots.txt, tout en minuscules, au chemin de premier niveau du site.[1] Chaque groupe de règles nomme un ou plusieurs crawlers avec des lignes User-agent et liste les chemins qu’ils ne peuvent pas récupérer avec des lignes Disallow.[1]
robots.txt est une demande, pas un verrou. La RFC dit que les règles ne sont pas une forme d’autorisation d’accès.[1] Les fetchers qui agissent pour une personne peuvent se comporter autrement : Perplexity dit que son fetcher Perplexity-User ignore généralement robots.txt parce qu’un utilisateur a demandé la page.[2]
À lire aussi
Sources
- RFC 9309: Robots Exclusion Protocol, lu le 6 novembre 2026
- Perplexity: Perplexity crawlers, lu le 6 novembre 2026
Mis à jour le 6 novembre 2026. Une erreur ou une info périmée ? Écrivez à connect@odeist.com (objet : Correction : robots.txt).
Commencer gratuitement 7 jours gratuits, sans carte bancaire.