Odeist AI

學習中心 › 詞彙表

AI 爬蟲

AI 爬蟲是替 AI 公司抓取網頁的機器人,用途不是訓練模型,就是透過搜尋回答大家的問題。這兩種工作通常由不同的機器人負責,你可以允許其中一個、封鎖另一個。

OpenAI 用 GPTBot 抓取可能用來訓練其模型的內容,用 OAI-SearchBot 在 ChatGPT 的搜尋功能中呈現網站;它表示每項設定彼此獨立。[1] Anthropic 營運 ClaudeBot 負責訓練、Claude-SearchBot 負責搜尋,以及在有人向 Claude 詢問某個網頁時使用的 Claude-User,並表示它的機器人會遵守 robots.txt。[2] Perplexity 表示,PerplexityBot 會在其搜尋結果中呈現並連結網站,不會用來訓練 AI 基礎模型。[3]

Google-Extended 不一樣:它不是爬蟲,而是一個 robots.txt 權杖,用來控制 Google 抓取的內容能不能用於 Gemini 模型;Google 表示,它不會影響網站在 Google 搜尋中的收錄或排名。[4]

相關內容

來源

  1. OpenAI: Overview of OpenAI crawlers,查閱於 2026年11月6日
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?,查閱於 2026年11月6日
  3. Perplexity: Perplexity crawlers,查閱於 2026年11月6日
  4. Google Search Central: Google’s common crawlers (Google-Extended),查閱於 2026年11月6日

更新於 2026年11月6日。發現錯誤或過時的內容?請寄信至 connect@odeist.com(主旨:更正:AI 爬蟲)。

免費開始 免費 7 天,不需信用卡。