KI-Crawler
Ein KI-Crawler ist ein Bot, der Webseiten für ein KI-Unternehmen abruft, entweder um Modelle zu trainieren oder um Fragen von Menschen per Suche zu beantworten. Für die beiden Aufgaben gibt es meist unterschiedliche Bots, und du kannst den einen zulassen und den anderen blockieren.
OpenAI nutzt GPTBot, um Inhalte zu crawlen, die zum Training seiner Modelle verwendet werden können, und OAI-SearchBot, um Websites in den Suchfunktionen von ChatGPT anzuzeigen; laut OpenAI ist jede Einstellung unabhängig von den anderen.[1] Anthropic betreibt ClaudeBot für das Training, Claude-SearchBot für die Suche und Claude-User, wenn eine Person Claude nach einer Seite fragt, und sagt, dass seine Bots robots.txt beachten.[2] Perplexity sagt, dass PerplexityBot Websites in seinen Suchergebnissen anzeigt und verlinkt und nicht zum Training von KI-Basismodellen genutzt wird.[3]
Google-Extended ist anders: Es ist kein Crawler, sondern ein robots.txt-Token, das steuert, ob von Google gecrawlte Inhalte für Gemini-Modelle verwendet werden dürfen, und Google sagt, dass es die Aufnahme oder das Ranking einer Website in der Google-Suche nicht beeinflusst.[4]
Verwandte Themen
Quellen
- OpenAI: Overview of OpenAI crawlers, gelesen am 6. November 2026
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, gelesen am 6. November 2026
- Perplexity: Perplexity crawlers, gelesen am 6. November 2026
- Google Search Central: Google’s common crawlers (Google-Extended), gelesen am 6. November 2026
Aktualisiert am 6. November 2026. Etwas falsch oder veraltet? Schreib an connect@odeist.com (Betreff: Korrektur: KI-Crawler).
Kostenlos starten 7 Tage kostenlos, keine Karte nötig.