OpenAI usa GPTBot para rastrear contenido que puede usarse para entrenar sus modelos, y OAI-SearchBot para mostrar sitios web en las funciones de búsqueda de ChatGPT; dice que cada configuración es independiente de las demás.[1] Anthropic usa ClaudeBot para entrenamiento, Claude-SearchBot para búsqueda y Claude-User cuando una persona le pregunta a Claude por una página, y dice que sus bots respetan robots.txt.[2] Perplexity dice que PerplexityBot muestra y enlaza sitios web en sus resultados de búsqueda y que no se usa para entrenar modelos fundacionales de IA.[3]
Google-Extended es distinto: no es un rastreador sino un token de robots.txt que controla si el contenido que rastrea Google puede usarse para los modelos Gemini, y Google dice que no afecta a la inclusión ni a la posición de un sitio en la Búsqueda de Google.[4]
Relacionado
Fuentes
- OpenAI: Overview of OpenAI crawlers, consultado el 6 de noviembre de 2026
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, consultado el 6 de noviembre de 2026
- Perplexity: Perplexity crawlers, consultado el 6 de noviembre de 2026
- Google Search Central: Google’s common crawlers (Google-Extended), consultado el 6 de noviembre de 2026
Actualizado el 6 de noviembre de 2026. ¿Algo está mal o desactualizado? Escribe a connect@odeist.com (asunto: Corrección: Rastreador de IA).
Empieza gratis 7 días gratis, no se necesita tarjeta.