Odeist AI

学习中心 › 术语表

AI 爬虫

AI 爬虫是为 AI 公司抓取网页的机器人,用途要么是训练模型,要么是通过搜索回答人们的问题。这两项工作通常由不同的机器人负责,你可以允许其中一个、屏蔽另一个。

OpenAI 用 GPTBot 抓取可能用于训练其模型的内容,用 OAI-SearchBot 在 ChatGPT 的搜索功能中展示网站;它表示每项设置都相互独立。[1] Anthropic 运行 ClaudeBot 用于训练、Claude-SearchBot 用于搜索,以及在有人向 Claude 询问某个页面时使用的 Claude-User,并表示其机器人遵守 robots.txt。[2] Perplexity 表示,PerplexityBot 在其搜索结果中展示并链接网站,不用于训练 AI 基础模型。[3]

Google-Extended 不一样:它不是爬虫,而是一个 robots.txt 标记,用于控制 Google 抓取的内容能否用于 Gemini 模型;Google 表示,它不影响网站在 Google 搜索中的收录或排名。[4]

相关内容

来源

  1. OpenAI: Overview of OpenAI crawlers,查阅于 2026年11月6日
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?,查阅于 2026年11月6日
  3. Perplexity: Perplexity crawlers,查阅于 2026年11月6日
  4. Google Search Central: Google’s common crawlers (Google-Extended),查阅于 2026年11月6日

更新于 2026年11月6日。发现错误或过时内容?请发邮件至 connect@odeist.com(主题:更正:AI 爬虫)。

免费开始 免费 7 天,无需绑卡。