Odeist AI

Aprende › Glosario

robots.txt

robots.txt es un archivo de texto plano en la raíz de un sitio web que indica a los rastreadores qué rutas pueden obtener y cuáles no.

Las reglas se definen en el RFC 9309, el Robots Exclusion Protocol. Deben estar en un archivo llamado /robots.txt, todo en minúsculas, en la ruta de nivel superior del sitio.[1] Cada grupo de reglas nombra uno o más rastreadores con líneas User-agent y enumera las rutas que no pueden obtener con líneas Disallow.[1]

robots.txt es una petición, no un candado. El RFC dice que las reglas no son una forma de autorización de acceso.[1] Los agentes que actúan en nombre de una persona pueden comportarse de otra manera: Perplexity dice que su agente Perplexity-User por lo general ignora robots.txt porque un usuario pidió la página.[2]

Relacionado

Fuentes

  1. RFC 9309: Robots Exclusion Protocol, consultado el 6 de noviembre de 2026
  2. Perplexity: Perplexity crawlers, consultado el 6 de noviembre de 2026

Actualizado el 6 de noviembre de 2026. ¿Algo está mal o desactualizado? Escribe a connect@odeist.com (asunto: Corrección: robots.txt).

Empieza gratis 7 días gratis, no se necesita tarjeta.