這些規則由 RFC 9309(Robots Exclusion Protocol,漫遊器排除協定)定義。規則必須放在名為 /robots.txt 的檔案裡,全部小寫,位於網站的最上層路徑。[1] 每組規則用 User-agent 行指定一個或多個爬蟲,並用 Disallow 行列出它們不能抓取的路徑。[1]
robots.txt 是一種請求,不是一把鎖。RFC 表示,這些規則不是一種存取授權。[1] 代表某個人行動的擷取程式可能會有不同的行為:Perplexity 表示,它的 Perplexity-User 擷取程式通常會忽略 robots.txt,因為是使用者要求了這個網頁。[2]
相關內容
來源
- RFC 9309: Robots Exclusion Protocol,查閱於 2026年11月6日
- Perplexity: Perplexity crawlers,查閱於 2026年11月6日
更新於 2026年11月6日。發現錯誤或過時的內容?請寄信至 connect@odeist.com(主旨:更正:robots.txt)。
免費開始 免費 7 天,不需信用卡。