Odeist AI

Lär dig › Svar

Ska jag blockera AI-crawlers i robots.txt?

Kort svar: De flesta företag som vill ha kunder bör tillåta AI-sökbotarna och besluta separat om träningsbotarna. Sökbotar, som OpenAI:s OAI-SearchBot, Anthropics Claude-SearchBot och PerplexityBot, avgör om du kan hittas och länkas i AI-svar. Träningsbotar, som GPTBot och ClaudeBot, samlar in innehåll för modellträning. Du kan blockera den ena sorten och tillåta den andra.

Sökbotar: vad en blockering kostar dig

  • OpenAI:s OAI-SearchBot används för att lyfta fram webbplatser i ChatGPT:s sökfunktioner; webbplatser som väljer bort den visas inte i ChatGPT:s söksvar, men kan fortfarande visas som navigeringslänkar.[1]
  • Anthropics Claude-SearchBot förbättrar sökresultaten för Claudes användare; att blockera den innebär att ditt innehåll inte indexeras för sökning, vilket kan minska din synlighet i Claudes svar.[2]
  • PerplexityBot lyfter fram och länkar webbplatser i Perplexitys sökresultat och används inte för att träna grundmodeller.[3]

Träningsbotar: ditt beslut

  • OpenAI:s GPTBot crawlar innehåll som kan användas för att träna dess modeller. OpenAI säger att varje inställning är oberoende, så du kan blockera GPTBot och ändå tillåta OAI-SearchBot.[1]
  • Anthropics ClaudeBot samlar in innehåll som kan bidra till träning; att blockera den utesluter ditt framtida innehåll från träningsdata.[2]
  • Google-Extended är en robots.txt-token, inte en separat crawler. Den styr användningen av ditt innehåll för Gemini-modeller och påverkar, enligt Google, inte om du tas med eller hur du rankas i Google Sök.[4]

Hämtare som agerar för en person

Vissa hämtare besöker en sida för att en person frågade om den. Perplexity säger att Perplexity-User i allmänhet ignorerar robots.txt av den anledningen.[3] OpenAI säger att ChatGPT-User inte används för att avgöra vad som visas i sökningen, och att robots.txt-regler kanske inte gäller för den.[1] robots.txt är en begäran, inte ett lås: protokollet självt säger att dess regler inte är en form av åtkomstbehörighet.[5]

En robots.txt som tillåter sökning och blockerar träning

Varje grupp namnger en bot med User-agent och listar vad den inte får hämta med Disallow. En crawler följer gruppen som namnger den, och gruppen ”*” bara när ingen grupp gör det.[5] För att blockera GPTBot, ClaudeBot och Google-Extended och tillåta allt annat ger du dem alltså en egen grupp med ”Disallow: /” och låter sökbotarna stå kvar under dina vanliga regler. En bot som namnges i en egen grupp ignorerar reglerna under ”*”, så upprepa de Disallow-rader den fortfarande ska följa. Testa filen efter varje ändring.

Frågor

Hur snabbt märker ChatGPT en ändring i robots.txt?

OpenAI säger att det kan ta ungefär 24 timmar från en uppdatering av robots.txt innan dess söksystem har anpassat sig.[1]

Följer Anthropic robots.txt?

Anthropic säger att dess botar respekterar direktiven i robots.txt, och påpekar att IP-blockering kanske inte fungerar tillförlitligt eftersom den hindrar botarna från att läsa filen över huvud taget.[2]

Relaterat

Källor

  1. OpenAI: Overview of OpenAI crawlers, läst 6 november 2026
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, läst 6 november 2026
  3. Perplexity: Perplexity crawlers, läst 6 november 2026
  4. Google Search Central: Google’s common crawlers (Google-Extended), läst 6 november 2026
  5. RFC 9309: Robots Exclusion Protocol, läst 6 november 2026

Uppdaterad 6 november 2026. Något fel eller inaktuellt? Mejla connect@odeist.com (ämne: Rättelse: Ska jag blockera AI-crawlers i robots.txt?).

Börja gratis 7 dagar gratis, inget kort behövs.