Odeist AI

学ぶ › 用語集

robots.txt

robots.txtは、ウェブサイトの最上位に置くプレーンテキストのファイルで、クローラーにどのパスを取得してよいか、いけないかを伝えます。

ルールはRFC 9309(Robots Exclusion Protocol)で定められています。ルールは、サイトの最上位のパスにある、すべて小文字の/robots.txtという名前のファイルに置かなければなりません。[1] ルールの各グループは、User-agent行で1つ以上のクローラーを指定し、Disallow行で取得してはいけないパスを並べます。[1]

robots.txtはお願いであって、鍵ではありません。RFCは、これらのルールはアクセス認可の一形態ではないと述べています。[1] 人の代わりに動くフェッチャーは違う動きをすることがあります。Perplexityによると、Perplexity-Userフェッチャーはユーザーがそのページを求めたため、一般にrobots.txtを無視します。[2]

関連ページ

情報源

  1. RFC 9309: Robots Exclusion Protocol(2026年11月6日に確認)
  2. Perplexity: Perplexity crawlers(2026年11月6日に確認)

2026年11月6日更新。誤りや古い情報がありましたら、connect@odeist.comまでメールでお知らせください(件名:訂正:robots.txt)。

無料で始める 7日間無料、カード登録は不要です。