Lernen › Antwort
Sollte ich KI-Crawler in der robots.txt blockieren?
Kurze Antwort: Die meisten Unternehmen, die Kunden wollen, sollten die KI-Such-Bots zulassen und über die Trainings-Bots getrennt entscheiden. Such-Bots wie OAI-SearchBot von OpenAI, Claude-SearchBot von Anthropic und PerplexityBot entscheiden, ob du in KI-Antworten gefunden und verlinkt werden kannst. Trainings-Bots wie GPTBot und ClaudeBot sammeln Inhalte für das Modelltraining. Du kannst die eine Art blockieren und die andere zulassen.
Such-Bots: was dich das Blockieren kostet
- OAI-SearchBot von OpenAI wird genutzt, um Websites in den Suchfunktionen von ChatGPT anzuzeigen; Websites, die widersprechen, erscheinen nicht in den Suchantworten von ChatGPT, können aber weiterhin als Navigationslinks auftauchen.[1]
- Claude-SearchBot von Anthropic verbessert die Suchergebnisse für Nutzer von Claude; ihn zu blockieren heißt, dass deine Inhalte nicht für die Suche indexiert werden, was deine Sichtbarkeit in den Antworten von Claude verringern kann.[2]
- PerplexityBot zeigt und verlinkt Websites in den Suchergebnissen von Perplexity und wird nicht zum Training von Basismodellen genutzt.[3]
Trainings-Bots: deine Entscheidung
- GPTBot von OpenAI crawlt Inhalte, die zum Training seiner Modelle verwendet werden können. OpenAI sagt, dass jede Einstellung unabhängig ist, also kannst du GPTBot blockieren und OAI-SearchBot trotzdem zulassen.[1]
- ClaudeBot von Anthropic sammelt Inhalte, die zum Training beitragen könnten; ihn zu blockieren schließt deine künftigen Inhalte von Trainingsdaten aus.[2]
- Google-Extended ist ein robots.txt-Token, kein eigener Crawler. Es steuert die Nutzung deiner Inhalte für Gemini-Modelle und beeinflusst laut Google weder deine Aufnahme noch dein Ranking in der Google-Suche.[4]
Fetcher, die im Auftrag einer Person handeln
Manche Fetcher besuchen eine Seite, weil eine Person danach gefragt hat. Perplexity sagt, dass Perplexity-User robots.txt aus diesem Grund in der Regel ignoriert.[3] OpenAI sagt, dass ChatGPT-User nicht genutzt wird, um zu entscheiden, was in der Suche erscheint, und dass robots.txt-Regeln für ihn möglicherweise nicht gelten.[1] robots.txt ist eine Bitte, kein Schloss: Das Protokoll selbst sagt, dass seine Regeln keine Form der Zugriffsberechtigung sind.[5]
Eine robots.txt, die Suche erlaubt und Training blockiert
Jede Gruppe nennt mit User-agent einen Bot und listet mit Disallow auf, was er nicht abrufen darf. Ein Crawler folgt der Gruppe, die ihn nennt, und der Gruppe „*“ nur, wenn ihn keine Gruppe nennt.[5] Um also GPTBot, ClaudeBot und Google-Extended zu blockieren und alles andere zu erlauben, gib ihnen eine eigene Gruppe mit „Disallow: /“ und lass die Such-Bots unter deinen normalen Regeln. Ein Bot, der in einer eigenen Gruppe steht, ignoriert die Regeln von „*“, also wiederhole alle Disallow-Zeilen, denen er weiterhin folgen soll. Teste die Datei nach jeder Änderung.
Fragen
Wie schnell bemerkt ChatGPT eine Änderung der robots.txt?
OpenAI sagt, dass es nach einer Aktualisierung der robots.txt etwa 24 Stunden dauern kann, bis sich seine Suchsysteme anpassen.[1]
Hält sich Anthropic an robots.txt?
Anthropic sagt, dass seine Bots robots.txt-Anweisungen beachten, und weist darauf hin, dass das Blockieren von IP-Adressen möglicherweise nicht zuverlässig funktioniert, weil es die Bots daran hindert, die Datei überhaupt zu lesen.[2]
Verwandte Themen
Quellen
- OpenAI: Overview of OpenAI crawlers, gelesen am 6. November 2026
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, gelesen am 6. November 2026
- Perplexity: Perplexity crawlers, gelesen am 6. November 2026
- Google Search Central: Google’s common crawlers (Google-Extended), gelesen am 6. November 2026
- RFC 9309: Robots Exclusion Protocol, gelesen am 6. November 2026
Aktualisiert am 6. November 2026. Etwas falsch oder veraltet? Schreib an connect@odeist.com (Betreff: Korrektur: Sollte ich KI-Crawler in der robots.txt blockieren?).
Kostenlos starten 7 Tage kostenlos, keine Karte nötig.