Impara › Risposta
Devo bloccare i crawler IA in robots.txt?
Risposta breve: La maggior parte delle aziende che vogliono clienti dovrebbe consentire i bot di ricerca IA e decidere a parte sui bot di addestramento. I bot di ricerca, come OAI-SearchBot di OpenAI, Claude-SearchBot di Anthropic e PerplexityBot, decidono se puoi essere trovato e linkato nelle risposte IA. I bot di addestramento, come GPTBot e ClaudeBot, raccolgono contenuti per addestrare i modelli. Puoi bloccare un tipo e consentire l’altro.
Bot di ricerca: quanto ti costa bloccarli
- OAI-SearchBot di OpenAI serve a far emergere siti web nelle funzionalità di ricerca di ChatGPT; i siti che si escludono non compaiono nelle risposte di ricerca di ChatGPT, anche se possono ancora comparire come link di navigazione.[1]
- Claude-SearchBot di Anthropic migliora i risultati di ricerca per gli utenti di Claude; bloccarlo significa che i tuoi contenuti non vengono indicizzati per la ricerca, il che può ridurre la tua visibilità nelle risposte di Claude.[2]
- PerplexityBot fa emergere e linka siti web nei risultati di ricerca di Perplexity e non viene usato per addestrare modelli fondazionali.[3]
Bot di addestramento: decidi tu
- GPTBot di OpenAI scansiona contenuti che possono servire ad addestrare i suoi modelli. OpenAI dice che ogni impostazione è indipendente, quindi puoi bloccare GPTBot e consentire comunque OAI-SearchBot.[1]
- ClaudeBot di Anthropic raccoglie contenuti che potrebbero contribuire all’addestramento; bloccarlo esclude i tuoi contenuti futuri dai dati di addestramento.[2]
- Google-Extended è un token di robots.txt, non un crawler separato. Controlla l’uso dei tuoi contenuti per i modelli Gemini e, secondo Google, non influisce sulla tua inclusione o sul tuo ranking nella Ricerca Google.[4]
Fetcher che agiscono per conto di una persona
Alcuni fetcher visitano una pagina perché una persona ha chiesto qualcosa su di essa. Perplexity dice che per questo Perplexity-User in genere ignora robots.txt.[3] OpenAI dice che ChatGPT-User non viene usato per decidere cosa compare nella ricerca, e che le regole di robots.txt potrebbero non applicarsi.[1] robots.txt è una richiesta, non un lucchetto: il protocollo stesso dice che le sue regole non sono una forma di autorizzazione all’accesso.[5]
Un robots.txt che consente la ricerca e blocca l’addestramento
Ogni gruppo nomina un bot con User-agent ed elenca cosa non può recuperare con Disallow. Un crawler segue il gruppo che lo nomina, e il gruppo “*” solo quando nessun gruppo lo nomina.[5] Quindi, per bloccare GPTBot, ClaudeBot e Google-Extended consentendo tutto il resto, dai loro un gruppo a parte con “Disallow: /” e lascia i bot di ricerca sotto le tue regole normali. Un bot nominato nel proprio gruppo ignora le regole “*”, quindi ripeti le righe Disallow che deve comunque seguire. Testa il file dopo ogni modifica.
Domande
Quanto ci mette ChatGPT ad accorgersi di una modifica a robots.txt?
OpenAI dice che dopo un aggiornamento di robots.txt possono servire circa 24 ore perché i suoi sistemi di ricerca si adeguino.[1]
Anthropic rispetta robots.txt?
Anthropic dice che i suoi bot rispettano le direttive di robots.txt, e nota che il blocco per IP potrebbe non funzionare in modo affidabile perché impedisce del tutto ai bot di leggere il file.[2]
Correlati
- Crawler IA
- robots.txt
- Come faccio a far comparire la mia azienda in ChatGPT e nelle altre risposte IA?
Fonti
- OpenAI: Overview of OpenAI crawlers, letto il 6 novembre 2026
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, letto il 6 novembre 2026
- Perplexity: Perplexity crawlers, letto il 6 novembre 2026
- Google Search Central: Google’s common crawlers (Google-Extended), letto il 6 novembre 2026
- RFC 9309: Robots Exclusion Protocol, letto il 6 novembre 2026
Aggiornato il 6 novembre 2026. Qualcosa di sbagliato o non aggiornato? Scrivi a connect@odeist.com (oggetto: Correzione: Devo bloccare i crawler IA in robots.txt?).
Inizia gratis 7 giorni gratis, nessuna carta richiesta.