OpenAI usa GPTBot per scansionare contenuti che possono servire ad addestrare i suoi modelli, e OAI-SearchBot per far emergere siti web nelle funzionalità di ricerca di ChatGPT; dice che ogni impostazione è indipendente dalle altre.[1] Anthropic usa ClaudeBot per l’addestramento, Claude-SearchBot per la ricerca e Claude-User quando una persona chiede a Claude di una pagina, e dice che i suoi bot rispettano robots.txt.[2] Perplexity dice che PerplexityBot fa emergere e linka siti web nei suoi risultati di ricerca e non viene usato per addestrare modelli fondazionali di IA.[3]
Google-Extended è diverso: non è un crawler ma un token di robots.txt che controlla se i contenuti scansionati da Google possono essere usati per i modelli Gemini, e Google dice che non influisce sull’inclusione o sul ranking di un sito nella Ricerca Google.[4]
Correlati
Fonti
- OpenAI: Overview of OpenAI crawlers, letto il 6 novembre 2026
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, letto il 6 novembre 2026
- Perplexity: Perplexity crawlers, letto il 6 novembre 2026
- Google Search Central: Google’s common crawlers (Google-Extended), letto il 6 novembre 2026
Aggiornato il 6 novembre 2026. Qualcosa di sbagliato o non aggiornato? Scrivi a connect@odeist.com (oggetto: Correzione: Crawler IA).
Inizia gratis 7 giorni gratis, nessuna carta richiesta.