Odeist AI

Lär dig › Ordlista

robots.txt

robots.txt är en vanlig textfil högst upp på en webbplats som talar om för crawlers vilka sökvägar de får och inte får hämta.

Reglerna definieras i RFC 9309, Robots Exclusion Protocol. De måste ligga i en fil som heter /robots.txt, med enbart gemener, i webbplatsens översta sökväg.[1] Varje grupp av regler namnger en eller flera crawlers med User-agent-rader och listar de sökvägar de inte får hämta med Disallow-rader.[1]

robots.txt är en begäran, inte ett lås. RFC:n säger att reglerna inte är en form av åtkomstbehörighet.[1] Hämtare som agerar för en person kan bete sig annorlunda: Perplexity säger att dess hämtare Perplexity-User i allmänhet ignorerar robots.txt eftersom en användare bad om sidan.[2]

Relaterat

Källor

  1. RFC 9309: Robots Exclusion Protocol, läst 6 november 2026
  2. Perplexity: Perplexity crawlers, läst 6 november 2026

Uppdaterad 6 november 2026. Något fel eller inaktuellt? Mejla connect@odeist.com (ämne: Rättelse: robots.txt).

Börja gratis 7 dagar gratis, inget kort behövs.