Odeist AI

Aprende › Glosario

Rastreador de IA

Un rastreador de IA es un bot que obtiene páginas web para una empresa de IA, ya sea para entrenar modelos o para responder las preguntas de la gente con búsqueda. Las dos tareas suelen tener bots distintos, y puedes permitir uno y bloquear el otro.

OpenAI usa GPTBot para rastrear contenido que puede usarse para entrenar sus modelos, y OAI-SearchBot para mostrar sitios web en las funciones de búsqueda de ChatGPT; dice que cada configuración es independiente de las demás.[1] Anthropic usa ClaudeBot para entrenamiento, Claude-SearchBot para búsqueda y Claude-User cuando una persona le pregunta a Claude por una página, y dice que sus bots respetan robots.txt.[2] Perplexity dice que PerplexityBot muestra y enlaza sitios web en sus resultados de búsqueda y que no se usa para entrenar modelos fundacionales de IA.[3]

Google-Extended es distinto: no es un rastreador sino un token de robots.txt que controla si el contenido que rastrea Google puede usarse para los modelos Gemini, y Google dice que no afecta a la inclusión ni a la posición de un sitio en la Búsqueda de Google.[4]

Relacionado

Fuentes

  1. OpenAI: Overview of OpenAI crawlers, consultado el 6 de noviembre de 2026
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, consultado el 6 de noviembre de 2026
  3. Perplexity: Perplexity crawlers, consultado el 6 de noviembre de 2026
  4. Google Search Central: Google’s common crawlers (Google-Extended), consultado el 6 de noviembre de 2026

Actualizado el 6 de noviembre de 2026. ¿Algo está mal o desactualizado? Escribe a connect@odeist.com (asunto: Corrección: Rastreador de IA).

Empieza gratis 7 días gratis, no se necesita tarjeta.