Die Regeln sind in RFC 9309 festgelegt, dem Robots Exclusion Protocol. Sie müssen in einer Datei namens /robots.txt stehen, komplett kleingeschrieben, im obersten Pfad der Website.[1] Jede Regelgruppe nennt mit User-agent-Zeilen einen oder mehrere Crawler und listet mit Disallow-Zeilen die Pfade auf, die sie nicht abrufen dürfen.[1]
robots.txt ist eine Bitte, kein Schloss. Laut RFC sind die Regeln keine Form der Zugriffsberechtigung.[1] Fetcher, die im Auftrag einer Person handeln, können sich anders verhalten: Perplexity sagt, dass sein Fetcher Perplexity-User robots.txt in der Regel ignoriert, weil ein Nutzer die Seite angefordert hat.[2]
Verwandte Themen
Quellen
- RFC 9309: Robots Exclusion Protocol, gelesen am 6. November 2026
- Perplexity: Perplexity crawlers, gelesen am 6. November 2026
Aktualisiert am 6. November 2026. Etwas falsch oder veraltet? Schreib an connect@odeist.com (Betreff: Korrektur: robots.txt).
Kostenlos starten 7 Tage kostenlos, keine Karte nötig.