Odeist AI

Leren › Woordenlijst

robots.txt

robots.txt is een gewoon tekstbestand bovenaan een website dat crawlers vertelt welke paden ze wel en niet mogen ophalen.

De regels staan in RFC 9309, het Robots Exclusion Protocol. Ze moeten in een bestand met de naam /robots.txt staan, helemaal in kleine letters, in het bovenste pad van de site.[1] Elke groep regels noemt met User-agent-regels een of meer crawlers en somt met Disallow-regels de paden op die ze niet mogen ophalen.[1]

robots.txt is een verzoek, geen slot. Volgens de RFC zijn de regels geen vorm van toegangsautorisatie.[1] Fetchers die namens een persoon handelen, kunnen zich anders gedragen: Perplexity zegt dat zijn fetcher Perplexity-User robots.txt over het algemeen negeert, omdat een gebruiker om de pagina vroeg.[2]

Gerelateerd

Bronnen

  1. RFC 9309: Robots Exclusion Protocol, gelezen op 6 november 2026
  2. Perplexity: Perplexity crawlers, gelezen op 6 november 2026

Bijgewerkt op 6 november 2026. Klopt er iets niet of is het verouderd? Mail connect@odeist.com (onderwerp: Correctie: robots.txt).

Gratis starten 7 dagen gratis, geen creditcard nodig.