OpenAI 用 GPTBot 抓取可能用于训练其模型的内容,用 OAI-SearchBot 在 ChatGPT 的搜索功能中展示网站;它表示每项设置都相互独立。[1] Anthropic 运行 ClaudeBot 用于训练、Claude-SearchBot 用于搜索,以及在有人向 Claude 询问某个页面时使用的 Claude-User,并表示其机器人遵守 robots.txt。[2] Perplexity 表示,PerplexityBot 在其搜索结果中展示并链接网站,不用于训练 AI 基础模型。[3]
Google-Extended 不一样:它不是爬虫,而是一个 robots.txt 标记,用于控制 Google 抓取的内容能否用于 Gemini 模型;Google 表示,它不影响网站在 Google 搜索中的收录或排名。[4]
相关内容
来源
- OpenAI: Overview of OpenAI crawlers,查阅于 2026年11月6日
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?,查阅于 2026年11月6日
- Perplexity: Perplexity crawlers,查阅于 2026年11月6日
- Google Search Central: Google’s common crawlers (Google-Extended),查阅于 2026年11月6日
更新于 2026年11月6日。发现错误或过时内容?请发邮件至 connect@odeist.com(主题:更正:AI 爬虫)。
免费开始 免费 7 天,无需绑卡。