Le regole sono definite nella RFC 9309, il Robots Exclusion Protocol. Devono stare in un file chiamato /robots.txt, tutto minuscolo, nel percorso di primo livello del sito.[1] Ogni gruppo di regole nomina uno o più crawler con righe User-agent ed elenca i percorsi che non possono recuperare con righe Disallow.[1]
robots.txt è una richiesta, non un lucchetto. La RFC dice che le regole non sono una forma di autorizzazione all’accesso.[1] I fetcher che agiscono per conto di una persona possono comportarsi diversamente: Perplexity dice che il suo fetcher Perplexity-User in genere ignora robots.txt perché è stato un utente a chiedere la pagina.[2]
Correlati
Fonti
- RFC 9309: Robots Exclusion Protocol, letto il 6 novembre 2026
- Perplexity: Perplexity crawlers, letto il 6 novembre 2026
Aggiornato il 6 novembre 2026. Qualcosa di sbagliato o non aggiornato? Scrivi a connect@odeist.com (oggetto: Correzione: robots.txt).
Inizia gratis 7 giorni gratis, nessuna carta richiesta.