AI-crawler
Een AI-crawler is een bot die webpagina’s ophaalt voor een AI-bedrijf, om modellen te trainen of om vragen van mensen met zoeken te beantwoorden. Voor die twee taken zijn er meestal verschillende bots, en je kunt de ene toelaten en de andere blokkeren.
OpenAI gebruikt GPTBot om content te crawlen die kan worden gebruikt om zijn modellen te trainen, en OAI-SearchBot om websites te tonen in de zoekfuncties van ChatGPT; volgens OpenAI staat elke instelling los van de andere.[1] Anthropic gebruikt ClaudeBot voor training, Claude-SearchBot voor zoeken en Claude-User als iemand Claude naar een pagina vraagt, en zegt dat zijn bots robots.txt respecteren.[2] Perplexity zegt dat PerplexityBot websites toont en linkt in zijn zoekresultaten en niet wordt gebruikt om AI-basismodellen te trainen.[3]
Google-Extended is anders: het is geen crawler maar een robots.txt-token dat bepaalt of content die Google crawlt mag worden gebruikt voor Gemini-modellen, en Google zegt dat het geen invloed heeft op de opname of ranking van een site in Google Zoeken.[4]
Gerelateerd
Bronnen
- OpenAI: Overview of OpenAI crawlers, gelezen op 6 november 2026
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, gelezen op 6 november 2026
- Perplexity: Perplexity crawlers, gelezen op 6 november 2026
- Google Search Central: Google’s common crawlers (Google-Extended), gelezen op 6 november 2026
Bijgewerkt op 6 november 2026. Klopt er iets niet of is het verouderd? Mail connect@odeist.com (onderwerp: Correctie: AI-crawler).
Gratis starten 7 dagen gratis, geen creditcard nodig.