규칙은 RFC 9309, Robots Exclusion Protocol에 정의되어 있어요. 규칙은 사이트 최상위 경로에 있는, 모두 소문자인 /robots.txt라는 이름의 파일에 있어야 해요.[1] 규칙 그룹마다 User-agent 줄로 크롤러를 하나 이상 지정하고, Disallow 줄로 가져가면 안 되는 경로를 나열해요.[1]
robots.txt는 요청이지 자물쇠가 아니에요. RFC는 이 규칙이 접근 권한 부여의 한 형태가 아니라고 말해요.[1] 사람을 대신해 움직이는 페처는 다르게 행동할 수 있어요. Perplexity는 Perplexity-User 페처가 사용자가 그 페이지를 요청했기 때문에 대체로 robots.txt를 무시한다고 말해요.[2]
관련 글
출처
- RFC 9309: Robots Exclusion Protocol, 2026년 11월 6일에 확인
- Perplexity: Perplexity crawlers, 2026년 11월 6일에 확인
2026년 11월 6일 업데이트. 틀리거나 오래된 내용이 있나요? connect@odeist.com 주소로 이메일을 보내 주세요(제목: 정정: robots.txt).
무료로 시작하기 7일 무료, 카드 등록 불필요.