学习中心 › 解答
我应该在 robots.txt 中屏蔽 AI 爬虫吗?
简短回答: 大多数想要客户的企业,应该允许 AI 搜索机器人,并单独决定是否允许训练机器人。搜索机器人,比如 OpenAI 的 OAI-SearchBot、Anthropic 的 Claude-SearchBot 和 PerplexityBot,决定了你能否在 AI 回答中被找到和被链接。训练机器人,比如 GPTBot 和 ClaudeBot,收集用于模型训练的内容。你可以屏蔽一类、允许另一类。
搜索机器人:屏蔽它们的代价
- OpenAI 的 OAI-SearchBot 用于在 ChatGPT 的搜索功能中展示网站;选择退出的网站不会出现在 ChatGPT 的搜索回答中,不过仍可能以导航链接的形式出现。[1]
- Anthropic 的 Claude-SearchBot 用于改进 Claude 用户的搜索结果;屏蔽它意味着你的内容不会为搜索建立索引,这可能会降低你在 Claude 回答中的可见度。[2]
- PerplexityBot 在 Perplexity 的搜索结果中展示并链接网站,不用于训练基础模型。[3]
训练机器人:由你决定
- OpenAI 的 GPTBot 抓取可能用于训练其模型的内容。OpenAI 表示每项设置都相互独立,所以你可以屏蔽 GPTBot,同时仍允许 OAI-SearchBot。[1]
- Anthropic 的 ClaudeBot 收集可能用于训练的内容;屏蔽它会把你今后的内容排除在训练数据之外。[2]
- Google-Extended 是一个 robots.txt 标记,不是单独的爬虫。它控制你的内容能否用于 Gemini 模型,而据 Google 说,它不影响你在 Google 搜索中的收录或排名。[4]
代表某个人行事的抓取程序
有些抓取程序访问某个页面,是因为有人问到了它。Perplexity 表示,正因如此,Perplexity-User 通常会忽略 robots.txt。[3] OpenAI 表示,ChatGPT-User 不用于决定哪些内容出现在搜索中,robots.txt 规则可能不适用于它。[1] robots.txt 是请求,不是锁:协议本身就说,其规则不是一种访问授权形式。[5]
一份允许搜索、屏蔽训练的 robots.txt
每组规则用 User-agent 指定一个机器人,并用 Disallow 列出它不可抓取的内容。爬虫会遵循指定了它的那一组,只有在没有任何一组指定它时,才遵循“*”组。[5] 所以,要屏蔽 GPTBot、ClaudeBot 和 Google-Extended,同时允许其他所有机器人,就给它们单独设一组,写上“Disallow: /”,并让搜索机器人继续遵循你的常规规则。在单独一组中被指定的机器人会忽略“*”规则,所以它仍需遵守的 Disallow 行要再写一遍。每次修改后都要测试这个文件。
问题
ChatGPT 多快会注意到 robots.txt 的更改?
OpenAI 表示,robots.txt 更新后,其搜索系统大约需要 24 小时来调整。[1]
Anthropic 遵守 robots.txt 吗?
Anthropic 表示,其机器人遵守 robots.txt 指令,并指出封禁 IP 可能无法可靠生效,因为这会让机器人根本读不到这个文件。[2]
相关内容
来源
- OpenAI: Overview of OpenAI crawlers,查阅于 2026年11月6日
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?,查阅于 2026年11月6日
- Perplexity: Perplexity crawlers,查阅于 2026年11月6日
- Google Search Central: Google’s common crawlers (Google-Extended),查阅于 2026年11月6日
- RFC 9309: Robots Exclusion Protocol,查阅于 2026年11月6日
更新于 2026年11月6日。发现错误或过时内容?请发邮件至 connect@odeist.com(主题:更正:我应该在 robots.txt 中屏蔽 AI 爬虫吗?)。
免费开始 免费 7 天,无需绑卡。