Odeist AI

Lär dig › Ordlista

AI-crawler

En AI-crawler är en bot som hämtar webbsidor åt ett AI-företag, antingen för att träna modeller eller för att besvara människors frågor med sökning. De två uppgifterna har oftast olika botar, och du kan tillåta den ena och blockera den andra.

OpenAI använder GPTBot för att crawla innehåll som kan användas för att träna dess modeller, och OAI-SearchBot för att lyfta fram webbplatser i ChatGPT:s sökfunktioner; företaget säger att varje inställning är oberoende av de andra.[1] Anthropic kör ClaudeBot för träning, Claude-SearchBot för sökning och Claude-User när en person frågar Claude om en sida, och säger att dess botar respekterar robots.txt.[2] Perplexity säger att PerplexityBot lyfter fram och länkar webbplatser i dess sökresultat och inte används för att träna grundmodeller för AI.[3]

Google-Extended är annorlunda: det är inte en crawler utan en robots.txt-token som styr om innehåll som Google crawlar får användas för Gemini-modeller, och Google säger att den inte påverkar om en webbplats tas med eller hur den rankas i Google Sök.[4]

Relaterat

Källor

  1. OpenAI: Overview of OpenAI crawlers, läst 6 november 2026
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, läst 6 november 2026
  3. Perplexity: Perplexity crawlers, läst 6 november 2026
  4. Google Search Central: Google’s common crawlers (Google-Extended), läst 6 november 2026

Uppdaterad 6 november 2026. Något fel eller inaktuellt? Mejla connect@odeist.com (ämne: Rättelse: AI-crawler).

Börja gratis 7 dagar gratis, inget kort behövs.