Crawler IA
Un crawler IA est un bot qui récupère des pages web pour une entreprise d’IA, soit pour entraîner des modèles, soit pour répondre aux questions des gens avec la recherche. Les deux tâches ont généralement des bots différents, et vous pouvez autoriser l’un et bloquer l’autre.
OpenAI utilise GPTBot pour explorer le contenu qui peut servir à entraîner ses modèles, et OAI-SearchBot pour faire apparaître des sites web dans les fonctionnalités de recherche de ChatGPT ; elle dit que chaque réglage est indépendant des autres.[1] Anthropic utilise ClaudeBot pour l’entraînement, Claude-SearchBot pour la recherche et Claude-User quand une personne interroge Claude sur une page, et dit que ses bots respectent robots.txt.[2] Perplexity dit que PerplexityBot fait apparaître des sites web dans ses résultats de recherche et y renvoie, et qu’il ne sert pas à entraîner des modèles de fondation d’IA.[3]
Google-Extended est différent : ce n’est pas un crawler mais un jeton robots.txt qui contrôle si le contenu exploré par Google peut servir aux modèles Gemini, et Google dit qu’il n’affecte ni l’inclusion ni le classement d’un site dans la recherche Google.[4]
À lire aussi
Sources
- OpenAI: Overview of OpenAI crawlers, lu le 6 novembre 2026
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, lu le 6 novembre 2026
- Perplexity: Perplexity crawlers, lu le 6 novembre 2026
- Google Search Central: Google’s common crawlers (Google-Extended), lu le 6 novembre 2026
Mis à jour le 6 novembre 2026. Une erreur ou une info périmée ? Écrivez à connect@odeist.com (objet : Correction : Crawler IA).
Commencer gratuitement 7 jours gratuits, sans carte bancaire.