Odeist AI

Aprende › Respuesta

¿Debo bloquear los rastreadores de IA en robots.txt?

Respuesta corta: La mayoría de los negocios que quieren clientes deberían permitir los bots de búsqueda con IA y decidir aparte sobre los bots de entrenamiento. Los bots de búsqueda, como OAI-SearchBot de OpenAI, Claude-SearchBot de Anthropic y PerplexityBot, deciden si se te puede encontrar y enlazar en las respuestas de IA. Los bots de entrenamiento, como GPTBot y ClaudeBot, recogen contenido para entrenar modelos. Puedes bloquear un tipo y permitir el otro.

Bots de búsqueda: lo que te cuesta bloquearlos

  • OAI-SearchBot, de OpenAI, se usa para mostrar sitios web en las funciones de búsqueda de ChatGPT; los sitios que se excluyen no aparecen en las respuestas de búsqueda de ChatGPT, aunque todavía pueden mostrarse como enlaces de navegación.[1]
  • Claude-SearchBot, de Anthropic, mejora los resultados de búsqueda para los usuarios de Claude; bloquearlo significa que tu contenido no se indexa para la búsqueda, lo que puede reducir tu visibilidad en las respuestas de Claude.[2]
  • PerplexityBot muestra y enlaza sitios web en los resultados de búsqueda de Perplexity y no se usa para entrenar modelos fundacionales.[3]

Bots de entrenamiento: tú decides

  • GPTBot, de OpenAI, rastrea contenido que puede usarse para entrenar sus modelos. OpenAI dice que cada configuración es independiente, así que puedes bloquear GPTBot y seguir permitiendo OAI-SearchBot.[1]
  • ClaudeBot, de Anthropic, recoge contenido que podría contribuir al entrenamiento; bloquearlo excluye tu contenido futuro de los datos de entrenamiento.[2]
  • Google-Extended es un token de robots.txt, no un rastreador aparte. Controla el uso de tu contenido para los modelos Gemini y, según Google, no afecta a tu inclusión ni a tu posición en la Búsqueda de Google.[4]

Agentes que actúan en nombre de una persona

Algunos agentes visitan una página porque una persona preguntó por ella. Perplexity dice que Perplexity-User por lo general ignora robots.txt por ese motivo.[3] OpenAI dice que ChatGPT-User no se usa para decidir qué aparece en la búsqueda, y que las reglas de robots.txt pueden no aplicarse a él.[1] robots.txt es una petición, no un candado: el propio protocolo dice que sus reglas no son una forma de autorización de acceso.[5]

Un robots.txt que permite la búsqueda y bloquea el entrenamiento

Cada grupo nombra un bot con User-agent y enumera lo que no puede obtener con Disallow. Un rastreador sigue el grupo que lo nombra, y el grupo «*» solo cuando ningún grupo lo nombra.[5] Así que, para bloquear GPTBot, ClaudeBot y Google-Extended y permitir todo lo demás, dales un grupo propio con «Disallow: /» y deja los bots de búsqueda con tus reglas normales. Un bot nombrado en su propio grupo ignora las reglas de «*», así que repite las líneas Disallow que deba seguir respetando. Prueba el archivo después de cada cambio.

Preguntas

¿Cuánto tarda ChatGPT en notar un cambio en robots.txt?

OpenAI dice que sus sistemas de búsqueda pueden tardar unas 24 horas en ajustarse tras una actualización de robots.txt.[1]

¿Anthropic respeta robots.txt?

Anthropic dice que sus bots respetan las directivas de robots.txt, y señala que bloquear por IP puede no funcionar de forma fiable porque impide que los bots lean el archivo.[2]

Relacionado

Fuentes

  1. OpenAI: Overview of OpenAI crawlers, consultado el 6 de noviembre de 2026
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, consultado el 6 de noviembre de 2026
  3. Perplexity: Perplexity crawlers, consultado el 6 de noviembre de 2026
  4. Google Search Central: Google’s common crawlers (Google-Extended), consultado el 6 de noviembre de 2026
  5. RFC 9309: Robots Exclusion Protocol, consultado el 6 de noviembre de 2026

Actualizado el 6 de noviembre de 2026. ¿Algo está mal o desactualizado? Escribe a connect@odeist.com (asunto: Corrección: ¿Debo bloquear los rastreadores de IA en robots.txt?).

Empieza gratis 7 días gratis, no se necesita tarjeta.