Odeist AI

学ぶ › 用語集

AIクローラー

AIクローラーとは、AI企業のためにウェブページを取得するボットです。目的はモデルの学習か、検索で人々の質問に答えることのどちらかです。2つの仕事には通常別々のボットがあり、一方を許可してもう一方をブロックできます。

OpenAIは、モデルの学習に使われる可能性のあるコンテンツのクロールにGPTBotを、ChatGPTの検索機能でウェブサイトを表示するためにOAI-SearchBotを使っており、それぞれの設定は互いに独立しているとしています。[1] Anthropicは学習用にClaudeBot、検索用にClaude-SearchBot、人がClaudeにページについて尋ねたときのためにClaude-Userを運用しており、同社のボットはrobots.txtに従うとしています。[2] Perplexityによると、PerplexityBotは検索結果でウェブサイトを表示してリンクするもので、AIの基盤モデルの学習には使われません。[3]

Google-Extendedは別物です。クローラーではなく、GoogleがクロールしたコンテンツをGeminiモデルに使ってよいかを制御するrobots.txtのトークンで、Googleによると、Google検索へのサイトの掲載や順位には影響しません。[4]

関連ページ

情報源

  1. OpenAI: Overview of OpenAI crawlers(2026年11月6日に確認)
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?(2026年11月6日に確認)
  3. Perplexity: Perplexity crawlers(2026年11月6日に確認)
  4. Google Search Central: Google’s common crawlers (Google-Extended)(2026年11月6日に確認)

2026年11月6日更新。誤りや古い情報がありましたら、connect@odeist.comまでメールでお知らせください(件名:訂正:AIクローラー)。

無料で始める 7日間無料、カード登録は不要です。