Odeist AI

Lernen › Glossar

robots.txt

robots.txt ist eine einfache Textdatei auf der obersten Ebene einer Website, die Crawlern sagt, welche Pfade sie abrufen dürfen und welche nicht.

Die Regeln sind in RFC 9309 festgelegt, dem Robots Exclusion Protocol. Sie müssen in einer Datei namens /robots.txt stehen, komplett kleingeschrieben, im obersten Pfad der Website.[1] Jede Regelgruppe nennt mit User-agent-Zeilen einen oder mehrere Crawler und listet mit Disallow-Zeilen die Pfade auf, die sie nicht abrufen dürfen.[1]

robots.txt ist eine Bitte, kein Schloss. Laut RFC sind die Regeln keine Form der Zugriffsberechtigung.[1] Fetcher, die im Auftrag einer Person handeln, können sich anders verhalten: Perplexity sagt, dass sein Fetcher Perplexity-User robots.txt in der Regel ignoriert, weil ein Nutzer die Seite angefordert hat.[2]

Verwandte Themen

Quellen

  1. RFC 9309: Robots Exclusion Protocol, gelesen am 6. November 2026
  2. Perplexity: Perplexity crawlers, gelesen am 6. November 2026

Aktualisiert am 6. November 2026. Etwas falsch oder veraltet? Schreib an connect@odeist.com (Betreff: Korrektur: robots.txt).

Kostenlos starten 7 Tage kostenlos, keine Karte nötig.