Odeist AI

Apprendre › Réponse

Dois-je bloquer les crawlers IA dans robots.txt ?

Réponse courte: La plupart des entreprises qui veulent des clients devraient autoriser les bots de recherche IA et décider séparément pour les bots d’entraînement. Les bots de recherche, comme OAI-SearchBot d’OpenAI, Claude-SearchBot d’Anthropic et PerplexityBot, déterminent si vous pouvez être trouvé et cité avec un lien dans les réponses IA. Les bots d’entraînement, comme GPTBot et ClaudeBot, collectent du contenu pour l’entraînement des modèles. Vous pouvez bloquer un type et autoriser l’autre.

Bots de recherche : ce que coûte le blocage

  • OAI-SearchBot d’OpenAI sert à faire apparaître des sites web dans les fonctionnalités de recherche de ChatGPT ; les sites qui se désinscrivent n’apparaissent pas dans les réponses de recherche de ChatGPT, même s’ils peuvent encore s’afficher comme liens de navigation.[1]
  • Claude-SearchBot d’Anthropic améliore les résultats de recherche pour les utilisateurs de Claude ; le bloquer signifie que votre contenu n’est pas indexé pour la recherche, ce qui peut réduire votre visibilité dans les réponses de Claude.[2]
  • PerplexityBot fait apparaître des sites web dans les résultats de recherche de Perplexity et y renvoie, et ne sert pas à entraîner des modèles de fondation.[3]

Bots d’entraînement : à vous de décider

  • GPTBot d’OpenAI explore du contenu qui peut servir à entraîner ses modèles. OpenAI dit que chaque réglage est indépendant, donc vous pouvez bloquer GPTBot et autoriser quand même OAI-SearchBot.[1]
  • ClaudeBot d’Anthropic collecte du contenu qui pourrait contribuer à l’entraînement ; le bloquer exclut vos futurs contenus des données d’entraînement.[2]
  • Google-Extended est un jeton robots.txt, pas un crawler distinct. Il contrôle l’usage de votre contenu pour les modèles Gemini et, selon Google, n’affecte ni votre inclusion ni votre classement dans la recherche Google.[4]

Les fetchers qui agissent pour une personne

Certains fetchers visitent une page parce qu’une personne a posé une question à son sujet. Perplexity dit que Perplexity-User ignore généralement robots.txt pour cette raison.[3] OpenAI dit que ChatGPT-User ne sert pas à décider ce qui apparaît dans la recherche, et que les règles de robots.txt peuvent ne pas s’y appliquer.[1] robots.txt est une demande, pas un verrou : le protocole lui-même dit que ses règles ne sont pas une forme d’autorisation d’accès.[5]

Un robots.txt qui autorise la recherche et bloque l’entraînement

Chaque groupe nomme un bot avec User-agent et liste ce qu’il ne peut pas récupérer avec Disallow. Un crawler suit le groupe qui le nomme, et le groupe « * » seulement quand aucun groupe ne le nomme.[5] Donc, pour bloquer GPTBot, ClaudeBot et Google-Extended tout en autorisant tout le reste, donnez-leur un groupe à part avec « Disallow: / » et laissez les bots de recherche sous vos règles habituelles. Un bot nommé dans son propre groupe ignore les règles « * », alors répétez les lignes Disallow qu’il doit encore suivre. Testez le fichier après chaque modification.

Questions

En combien de temps ChatGPT remarque-t-il une modification de robots.txt ?

OpenAI dit qu’il peut falloir environ 24 heures après une mise à jour de robots.txt pour que ses systèmes de recherche s’ajustent.[1]

Anthropic respecte-t-il robots.txt ?

Anthropic dit que ses bots respectent les directives de robots.txt, et note que le blocage par IP peut ne pas fonctionner de façon fiable car il empêche tout simplement les bots de lire le fichier.[2]

À lire aussi

Sources

  1. OpenAI: Overview of OpenAI crawlers, lu le 6 novembre 2026
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, lu le 6 novembre 2026
  3. Perplexity: Perplexity crawlers, lu le 6 novembre 2026
  4. Google Search Central: Google’s common crawlers (Google-Extended), lu le 6 novembre 2026
  5. RFC 9309: Robots Exclusion Protocol, lu le 6 novembre 2026

Mis à jour le 6 novembre 2026. Une erreur ou une info périmée ? Écrivez à connect@odeist.com (objet : Correction : Dois-je bloquer les crawlers IA dans robots.txt ?).

Commencer gratuitement 7 jours gratuits, sans carte bancaire.