Odeist AI

学习中心 › 解答

我应该在 robots.txt 中屏蔽 AI 爬虫吗?

简短回答: 大多数想要客户的企业,应该允许 AI 搜索机器人,并单独决定是否允许训练机器人。搜索机器人,比如 OpenAI 的 OAI-SearchBot、Anthropic 的 Claude-SearchBot 和 PerplexityBot,决定了你能否在 AI 回答中被找到和被链接。训练机器人,比如 GPTBot 和 ClaudeBot,收集用于模型训练的内容。你可以屏蔽一类、允许另一类。

搜索机器人:屏蔽它们的代价

  • OpenAI 的 OAI-SearchBot 用于在 ChatGPT 的搜索功能中展示网站;选择退出的网站不会出现在 ChatGPT 的搜索回答中,不过仍可能以导航链接的形式出现。[1]
  • Anthropic 的 Claude-SearchBot 用于改进 Claude 用户的搜索结果;屏蔽它意味着你的内容不会为搜索建立索引,这可能会降低你在 Claude 回答中的可见度。[2]
  • PerplexityBot 在 Perplexity 的搜索结果中展示并链接网站,不用于训练基础模型。[3]

训练机器人:由你决定

  • OpenAI 的 GPTBot 抓取可能用于训练其模型的内容。OpenAI 表示每项设置都相互独立,所以你可以屏蔽 GPTBot,同时仍允许 OAI-SearchBot。[1]
  • Anthropic 的 ClaudeBot 收集可能用于训练的内容;屏蔽它会把你今后的内容排除在训练数据之外。[2]
  • Google-Extended 是一个 robots.txt 标记,不是单独的爬虫。它控制你的内容能否用于 Gemini 模型,而据 Google 说,它不影响你在 Google 搜索中的收录或排名。[4]

代表某个人行事的抓取程序

有些抓取程序访问某个页面,是因为有人问到了它。Perplexity 表示,正因如此,Perplexity-User 通常会忽略 robots.txt。[3] OpenAI 表示,ChatGPT-User 不用于决定哪些内容出现在搜索中,robots.txt 规则可能不适用于它。[1] robots.txt 是请求,不是锁:协议本身就说,其规则不是一种访问授权形式。[5]

一份允许搜索、屏蔽训练的 robots.txt

每组规则用 User-agent 指定一个机器人,并用 Disallow 列出它不可抓取的内容。爬虫会遵循指定了它的那一组,只有在没有任何一组指定它时,才遵循“*”组。[5] 所以,要屏蔽 GPTBot、ClaudeBot 和 Google-Extended,同时允许其他所有机器人,就给它们单独设一组,写上“Disallow: /”,并让搜索机器人继续遵循你的常规规则。在单独一组中被指定的机器人会忽略“*”规则,所以它仍需遵守的 Disallow 行要再写一遍。每次修改后都要测试这个文件。

问题

ChatGPT 多快会注意到 robots.txt 的更改?

OpenAI 表示,robots.txt 更新后,其搜索系统大约需要 24 小时来调整。[1]

Anthropic 遵守 robots.txt 吗?

Anthropic 表示,其机器人遵守 robots.txt 指令,并指出封禁 IP 可能无法可靠生效,因为这会让机器人根本读不到这个文件。[2]

相关内容

来源

  1. OpenAI: Overview of OpenAI crawlers,查阅于 2026年11月6日
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?,查阅于 2026年11月6日
  3. Perplexity: Perplexity crawlers,查阅于 2026年11月6日
  4. Google Search Central: Google’s common crawlers (Google-Extended),查阅于 2026年11月6日
  5. RFC 9309: Robots Exclusion Protocol,查阅于 2026年11月6日

更新于 2026年11月6日。发现错误或过时内容?请发邮件至 connect@odeist.com(主题:更正:我应该在 robots.txt 中屏蔽 AI 爬虫吗?)。

免费开始 免费 7 天,无需绑卡。