Odeist AI

学ぶ › 回答

robots.txtでAIクローラーをブロックすべきですか?

簡潔な答え: 顧客を求めるほとんどのビジネスは、AI検索ボットを許可し、学習ボットについては別に判断すべきです。OpenAIのOAI-SearchBot、AnthropicのClaude-SearchBot、PerplexityBotのような検索ボットは、AI回答であなたが見つかりリンクされるかを左右します。GPTBotやClaudeBotのような学習ボットは、モデルの学習のためにコンテンツを集めます。一方をブロックし、もう一方を許可できます。

検索ボット:ブロックで失うもの

  • OpenAIのOAI-SearchBotは、ChatGPTの検索機能でウェブサイトを表示するために使われます。オプトアウトしたサイトはChatGPTの検索回答に表示されませんが、ナビゲーション用のリンクとしては表示されることがあります。[1]
  • AnthropicのClaude-SearchBotは、Claudeのユーザー向けの検索結果を改善します。これをブロックするとコンテンツが検索用にインデックスされず、Claudeの回答での可視性が下がる可能性があります。[2]
  • PerplexityBotは、Perplexityの検索結果でウェブサイトを表示してリンクし、基盤モデルの学習には使われません。[3]

学習ボット:あなたが決める

  • OpenAIのGPTBotは、同社のモデルの学習に使われる可能性のあるコンテンツをクロールします。OpenAIによると、それぞれの設定は独立しているので、GPTBotをブロックしてもOAI-SearchBotは許可したままにできます。[1]
  • AnthropicのClaudeBotは、学習に役立つ可能性のあるコンテンツを集めます。これをブロックすると、今後のコンテンツが学習データから除外されます。[2]
  • Google-Extendedは、独立したクローラーではなくrobots.txtのトークンです。Geminiモデルでのコンテンツの使用を制御し、Googleによると、Google検索への掲載や順位には影響しません。[4]

人の代わりに動くフェッチャー

フェッチャーの中には、人がそのページについて尋ねたために訪れるものがあります。Perplexityによると、Perplexity-Userはその理由から一般にrobots.txtを無視します。[3] OpenAIによると、ChatGPT-Userは検索に何を表示するかの判断には使われず、robots.txtのルールが適用されない場合があります。[1] robots.txtはお願いであって鍵ではありません。プロトコル自体が、そのルールはアクセス認可の一形態ではないと述べています。[5]

検索を許可し、学習をブロックするrobots.txt

各グループはUser-agentでボットを指定し、Disallowで取得してはいけないものを並べます。クローラーは自分を指定したグループに従い、「*」のグループには自分を指定したグループがないときだけ従います。[5] ですから、GPTBot、ClaudeBot、Google-Extendedをブロックしてほかはすべて許可するには、それらに「Disallow: /」を書いた専用のグループを与え、検索ボットは通常のルールのままにします。専用のグループで指定されたボットは「*」のルールを無視するので、引き続き従ってほしいDisallow行は繰り返し書きましょう。変更のたびにファイルをテストしてください。

質問

ChatGPTはrobots.txtの変更にどれくらいで気づきますか?

OpenAIによると、robots.txtの更新から同社の検索システムが調整されるまで約24時間かかることがあります。[1]

Anthropicはrobots.txtに従いますか?

Anthropicは、同社のボットはrobots.txtの指示に従うとしており、IPによるブロックはボットがファイルをまったく読めなくなるため確実に機能しない場合があると述べています。[2]

関連ページ

情報源

  1. OpenAI: Overview of OpenAI crawlers(2026年11月6日に確認)
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?(2026年11月6日に確認)
  3. Perplexity: Perplexity crawlers(2026年11月6日に確認)
  4. Google Search Central: Google’s common crawlers (Google-Extended)(2026年11月6日に確認)
  5. RFC 9309: Robots Exclusion Protocol(2026年11月6日に確認)

2026年11月6日更新。誤りや古い情報がありましたら、connect@odeist.comまでメールでお知らせください(件名:訂正:robots.txtでAIクローラーをブロックすべきですか?)。

無料で始める 7日間無料、カード登録は不要です。