Las reglas se definen en el RFC 9309, el Robots Exclusion Protocol. Deben estar en un archivo llamado /robots.txt, todo en minúsculas, en la ruta de nivel superior del sitio.[1] Cada grupo de reglas nombra uno o más rastreadores con líneas User-agent y enumera las rutas que no pueden obtener con líneas Disallow.[1]
robots.txt es una petición, no un candado. El RFC dice que las reglas no son una forma de autorización de acceso.[1] Los agentes que actúan en nombre de una persona pueden comportarse de otra manera: Perplexity dice que su agente Perplexity-User por lo general ignora robots.txt porque un usuario pidió la página.[2]
Relacionado
Fuentes
- RFC 9309: Robots Exclusion Protocol, consultado el 6 de noviembre de 2026
- Perplexity: Perplexity crawlers, consultado el 6 de noviembre de 2026
Actualizado el 6 de noviembre de 2026. ¿Algo está mal o desactualizado? Escribe a connect@odeist.com (asunto: Corrección: robots.txt).
Empieza gratis 7 días gratis, no se necesita tarjeta.