Odeist AI

学习中心 › 术语表

robots.txt

robots.txt 是放在网站顶层的纯文本文件,告诉爬虫哪些路径可以抓取、哪些不可以。

这些规则由 RFC 9309(Robots Exclusion Protocol,机器人排除协议)定义。它们必须放在名为 /robots.txt 的文件中,全部小写,位于网站的顶层路径。[1] 每组规则用 User-agent 行指定一个或多个爬虫,并用 Disallow 行列出它们不可抓取的路径。[1]

robots.txt 是请求,不是锁。RFC 表示,这些规则不是一种访问授权形式。[1] 代表某个人行事的抓取程序可能有不同的行为:Perplexity 表示,其 Perplexity-User 抓取程序通常会忽略 robots.txt,因为是用户请求了该页面。[2]

相关内容

来源

  1. RFC 9309: Robots Exclusion Protocol,查阅于 2026年11月6日
  2. Perplexity: Perplexity crawlers,查阅于 2026年11月6日

更新于 2026年11月6日。发现错误或过时内容?请发邮件至 connect@odeist.com(主题:更正:robots.txt)。

免费开始 免费 7 天,无需绑卡。