Odeist AI

學習中心 › 解答

我應該在 robots.txt 封鎖 AI 爬蟲嗎?

簡短回答: 大多數想要客戶的公司,都應該允許 AI 搜尋機器人,再另外決定要不要允許訓練用機器人。搜尋機器人,例如 OpenAI 的 OAI-SearchBot、Anthropic 的 Claude-SearchBot 和 PerplexityBot,決定了你能不能在 AI 回答中被找到、被連結。訓練用機器人,例如 GPTBot 和 ClaudeBot,會蒐集用於模型訓練的內容。你可以封鎖其中一種、允許另一種。

搜尋機器人:封鎖的代價

  • OpenAI 的 OAI-SearchBot 用於在 ChatGPT 的搜尋功能中呈現網站;選擇退出的網站不會出現在 ChatGPT 的搜尋回答中,不過仍可能以導覽連結的形式出現。[1]
  • Anthropic 的 Claude-SearchBot 用來改善 Claude 使用者的搜尋結果;封鎖它代表你的內容不會為搜尋建立索引,可能會降低你在 Claude 回答中的能見度。[2]
  • PerplexityBot 會在 Perplexity 的搜尋結果中呈現並連結網站,不會用來訓練基礎模型。[3]

訓練用機器人:由你決定

  • OpenAI 的 GPTBot 會抓取可能用來訓練其模型的內容。OpenAI 表示每項設定彼此獨立,所以你可以封鎖 GPTBot,同時仍允許 OAI-SearchBot。[1]
  • Anthropic 的 ClaudeBot 會蒐集可能用於訓練的內容;封鎖它會把你日後的內容排除在訓練資料之外。[2]
  • Google-Extended 是一個 robots.txt 權杖,不是獨立的爬蟲。它控制你的內容能不能用於 Gemini 模型,而根據 Google 的說法,它不會影響你在 Google 搜尋中的收錄或排名。[4]

代表某個人行動的擷取程式

有些擷取程式會造訪某個網頁,是因為有人問到了它。Perplexity 表示,正因為如此,Perplexity-User 通常會忽略 robots.txt。[3] OpenAI 表示,ChatGPT-User 不會用來決定哪些內容出現在搜尋中,robots.txt 規則也可能不適用於它。[1] robots.txt 是一種請求,不是一把鎖:協定本身就說,它的規則不是一種存取授權。[5]

允許搜尋、封鎖訓練的 robots.txt

每組規則用 User-agent 指定一個機器人,並用 Disallow 列出它不能抓取的內容。爬蟲會遵循指定了它的那一組,只有在沒有任何一組指定它時,才會遵循「*」組。[5] 所以,要封鎖 GPTBot、ClaudeBot 和 Google-Extended,同時允許其他所有機器人,就替它們另外設一組,寫上「Disallow: /」,並讓搜尋機器人繼續遵循你平常的規則。在自己那一組被指定的機器人會忽略「*」規則,所以它仍需遵守的 Disallow 行要再寫一次。每次修改後都要測試這個檔案。

問題

ChatGPT 多快會注意到 robots.txt 的變更?

OpenAI 表示,robots.txt 更新後,其搜尋系統大約需要 24 小時來調整。[1]

Anthropic 會遵守 robots.txt 嗎?

Anthropic 表示,它的機器人會遵守 robots.txt 指令,並指出封鎖 IP 可能無法穩定發揮作用,因為這會讓機器人根本讀不到這個檔案。[2]

相關內容

來源

  1. OpenAI: Overview of OpenAI crawlers,查閱於 2026年11月6日
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?,查閱於 2026年11月6日
  3. Perplexity: Perplexity crawlers,查閱於 2026年11月6日
  4. Google Search Central: Google’s common crawlers (Google-Extended),查閱於 2026年11月6日
  5. RFC 9309: Robots Exclusion Protocol,查閱於 2026年11月6日

更新於 2026年11月6日。發現錯誤或過時的內容?請寄信至 connect@odeist.com(主旨:更正:我應該在 robots.txt 封鎖 AI 爬蟲嗎?)。

免費開始 免費 7 天,不需信用卡。