Odeist AI

Apprendre › Glossaire

robots.txt

robots.txt est un fichier texte brut placé à la racine d’un site web qui indique aux crawlers quels chemins ils peuvent récupérer et lesquels non.

Les règles sont définies dans la RFC 9309, le Robots Exclusion Protocol. Elles doivent se trouver dans un fichier nommé /robots.txt, tout en minuscules, au chemin de premier niveau du site.[1] Chaque groupe de règles nomme un ou plusieurs crawlers avec des lignes User-agent et liste les chemins qu’ils ne peuvent pas récupérer avec des lignes Disallow.[1]

robots.txt est une demande, pas un verrou. La RFC dit que les règles ne sont pas une forme d’autorisation d’accès.[1] Les fetchers qui agissent pour une personne peuvent se comporter autrement : Perplexity dit que son fetcher Perplexity-User ignore généralement robots.txt parce qu’un utilisateur a demandé la page.[2]

À lire aussi

Sources

  1. RFC 9309: Robots Exclusion Protocol, lu le 6 novembre 2026
  2. Perplexity: Perplexity crawlers, lu le 6 novembre 2026

Mis à jour le 6 novembre 2026. Une erreur ou une info périmée ? Écrivez à connect@odeist.com (objet : Correction : robots.txt).

Commencer gratuitement 7 jours gratuits, sans carte bancaire.