Reglerna definieras i RFC 9309, Robots Exclusion Protocol. De måste ligga i en fil som heter /robots.txt, med enbart gemener, i webbplatsens översta sökväg.[1] Varje grupp av regler namnger en eller flera crawlers med User-agent-rader och listar de sökvägar de inte får hämta med Disallow-rader.[1]
robots.txt är en begäran, inte ett lås. RFC:n säger att reglerna inte är en form av åtkomstbehörighet.[1] Hämtare som agerar för en person kan bete sig annorlunda: Perplexity säger att dess hämtare Perplexity-User i allmänhet ignorerar robots.txt eftersom en användare bad om sidan.[2]
Relaterat
Källor
- RFC 9309: Robots Exclusion Protocol, läst 6 november 2026
- Perplexity: Perplexity crawlers, läst 6 november 2026
Uppdaterad 6 november 2026. Något fel eller inaktuellt? Mejla connect@odeist.com (ämne: Rättelse: robots.txt).
Börja gratis 7 dagar gratis, inget kort behövs.