OpenAI använder GPTBot för att crawla innehåll som kan användas för att träna dess modeller, och OAI-SearchBot för att lyfta fram webbplatser i ChatGPT:s sökfunktioner; företaget säger att varje inställning är oberoende av de andra.[1] Anthropic kör ClaudeBot för träning, Claude-SearchBot för sökning och Claude-User när en person frågar Claude om en sida, och säger att dess botar respekterar robots.txt.[2] Perplexity säger att PerplexityBot lyfter fram och länkar webbplatser i dess sökresultat och inte används för att träna grundmodeller för AI.[3]
Google-Extended är annorlunda: det är inte en crawler utan en robots.txt-token som styr om innehåll som Google crawlar får användas för Gemini-modeller, och Google säger att den inte påverkar om en webbplats tas med eller hur den rankas i Google Sök.[4]
Relaterat
Källor
- OpenAI: Overview of OpenAI crawlers, läst 6 november 2026
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, läst 6 november 2026
- Perplexity: Perplexity crawlers, läst 6 november 2026
- Google Search Central: Google’s common crawlers (Google-Extended), läst 6 november 2026
Uppdaterad 6 november 2026. Något fel eller inaktuellt? Mejla connect@odeist.com (ämne: Rättelse: AI-crawler).
Börja gratis 7 dagar gratis, inget kort behövs.