Odeist AI

Leren › Antwoord

Moet ik AI-crawlers blokkeren in robots.txt?

Kort antwoord: De meeste bedrijven die klanten willen, horen de AI-zoekbots toe te laten en apart te beslissen over de trainingsbots. Zoekbots, zoals OAI-SearchBot van OpenAI, Claude-SearchBot van Anthropic en PerplexityBot, bepalen of je kunt worden gevonden en gelinkt in AI-antwoorden. Trainingsbots, zoals GPTBot en ClaudeBot, verzamelen content voor het trainen van modellen. Je kunt de ene soort blokkeren en de andere toelaten.

Zoekbots: wat blokkeren je kost

  • OAI-SearchBot van OpenAI wordt gebruikt om websites te tonen in de zoekfuncties van ChatGPT; sites die zich afmelden, verschijnen niet in de zoekantwoorden van ChatGPT, al kunnen ze nog wel als navigatielinks verschijnen.[1]
  • Claude-SearchBot van Anthropic verbetert de zoekresultaten voor gebruikers van Claude; hem blokkeren betekent dat je content niet wordt geïndexeerd voor zoeken, wat je zichtbaarheid in de antwoorden van Claude kan verminderen.[2]
  • PerplexityBot toont en linkt websites in de zoekresultaten van Perplexity en wordt niet gebruikt om basismodellen te trainen.[3]

Trainingsbots: jouw keuze

  • GPTBot van OpenAI crawlt content die kan worden gebruikt om zijn modellen te trainen. OpenAI zegt dat elke instelling los van de andere staat, dus je kunt GPTBot blokkeren en OAI-SearchBot toch toelaten.[1]
  • ClaudeBot van Anthropic verzamelt content die aan training zou kunnen bijdragen; hem blokkeren sluit je toekomstige content uit van trainingsdata.[2]
  • Google-Extended is een robots.txt-token, geen aparte crawler. Het bepaalt het gebruik van je content voor Gemini-modellen en heeft volgens Google geen invloed op je opname of ranking in Google Zoeken.[4]

Fetchers die namens een persoon handelen

Sommige fetchers bezoeken een pagina omdat iemand ernaar vroeg. Perplexity zegt dat Perplexity-User om die reden robots.txt over het algemeen negeert.[3] OpenAI zegt dat ChatGPT-User niet wordt gebruikt om te bepalen wat er in zoekresultaten verschijnt, en dat robots.txt-regels er mogelijk niet voor gelden.[1] robots.txt is een verzoek, geen slot: het protocol zelf zegt dat de regels geen vorm van toegangsautorisatie zijn.[5]

Een robots.txt die zoeken toestaat en training blokkeert

Elke groep noemt met User-agent een bot en somt met Disallow op wat hij niet mag ophalen. Een crawler volgt de groep die hem noemt, en de groep “*” alleen als geen enkele groep dat doet.[5] Om dus GPTBot, ClaudeBot en Google-Extended te blokkeren en al het andere toe te staan, geef je ze een eigen groep met “Disallow: /” en laat je de zoekbots onder je normale regels. Een bot met een eigen groep negeert de regels van “*”, dus herhaal alle Disallow-regels die hij nog moet volgen. Test het bestand na elke wijziging.

Vragen

Hoe snel merkt ChatGPT een wijziging in robots.txt op?

OpenAI zegt dat het na een update van robots.txt ongeveer 24 uur kan duren voordat zijn zoeksystemen zich aanpassen.[1]

Volgt Anthropic robots.txt?

Anthropic zegt dat zijn bots robots.txt-instructies respecteren, en merkt op dat IP-adressen blokkeren mogelijk niet betrouwbaar werkt, omdat de bots het bestand dan helemaal niet kunnen lezen.[2]

Gerelateerd

Bronnen

  1. OpenAI: Overview of OpenAI crawlers, gelezen op 6 november 2026
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, gelezen op 6 november 2026
  3. Perplexity: Perplexity crawlers, gelezen op 6 november 2026
  4. Google Search Central: Google’s common crawlers (Google-Extended), gelezen op 6 november 2026
  5. RFC 9309: Robots Exclusion Protocol, gelezen op 6 november 2026

Bijgewerkt op 6 november 2026. Klopt er iets niet of is het verouderd? Mail connect@odeist.com (onderwerp: Correctie: Moet ik AI-crawlers blokkeren in robots.txt?).

Gratis starten 7 dagen gratis, geen creditcard nodig.