Odeist AI

Impara › Glossario

robots.txt

robots.txt è un file di testo semplice nella radice di un sito web che dice ai crawler quali percorsi possono recuperare e quali no.

Le regole sono definite nella RFC 9309, il Robots Exclusion Protocol. Devono stare in un file chiamato /robots.txt, tutto minuscolo, nel percorso di primo livello del sito.[1] Ogni gruppo di regole nomina uno o più crawler con righe User-agent ed elenca i percorsi che non possono recuperare con righe Disallow.[1]

robots.txt è una richiesta, non un lucchetto. La RFC dice che le regole non sono una forma di autorizzazione all’accesso.[1] I fetcher che agiscono per conto di una persona possono comportarsi diversamente: Perplexity dice che il suo fetcher Perplexity-User in genere ignora robots.txt perché è stato un utente a chiedere la pagina.[2]

Correlati

Fonti

  1. RFC 9309: Robots Exclusion Protocol, letto il 6 novembre 2026
  2. Perplexity: Perplexity crawlers, letto il 6 novembre 2026

Aggiornato il 6 novembre 2026. Qualcosa di sbagliato o non aggiornato? Scrivi a connect@odeist.com (oggetto: Correzione: robots.txt).

Inizia gratis 7 giorni gratis, nessuna carta richiesta.