OpenAI 用 GPTBot 抓取可能用來訓練其模型的內容,用 OAI-SearchBot 在 ChatGPT 的搜尋功能中呈現網站;它表示每項設定彼此獨立。[1] Anthropic 營運 ClaudeBot 負責訓練、Claude-SearchBot 負責搜尋,以及在有人向 Claude 詢問某個網頁時使用的 Claude-User,並表示它的機器人會遵守 robots.txt。[2] Perplexity 表示,PerplexityBot 會在其搜尋結果中呈現並連結網站,不會用來訓練 AI 基礎模型。[3]
Google-Extended 不一樣:它不是爬蟲,而是一個 robots.txt 權杖,用來控制 Google 抓取的內容能不能用於 Gemini 模型;Google 表示,它不會影響網站在 Google 搜尋中的收錄或排名。[4]
相關內容
來源
- OpenAI: Overview of OpenAI crawlers,查閱於 2026年11月6日
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?,查閱於 2026年11月6日
- Perplexity: Perplexity crawlers,查閱於 2026年11月6日
- Google Search Central: Google’s common crawlers (Google-Extended),查閱於 2026年11月6日
更新於 2026年11月6日。發現錯誤或過時的內容?請寄信至 connect@odeist.com(主旨:更正:AI 爬蟲)。
免費開始 免費 7 天,不需信用卡。