Odeist AI

배우기 › 용어집

robots.txt

robots.txt는 웹사이트 최상위에 두는 일반 텍스트 파일로, 크롤러에게 어떤 경로는 가져가도 되고 어떤 경로는 안 되는지 알려 줘요.

규칙은 RFC 9309, Robots Exclusion Protocol에 정의되어 있어요. 규칙은 사이트 최상위 경로에 있는, 모두 소문자인 /robots.txt라는 이름의 파일에 있어야 해요.[1] 규칙 그룹마다 User-agent 줄로 크롤러를 하나 이상 지정하고, Disallow 줄로 가져가면 안 되는 경로를 나열해요.[1]

robots.txt는 요청이지 자물쇠가 아니에요. RFC는 이 규칙이 접근 권한 부여의 한 형태가 아니라고 말해요.[1] 사람을 대신해 움직이는 페처는 다르게 행동할 수 있어요. Perplexity는 Perplexity-User 페처가 사용자가 그 페이지를 요청했기 때문에 대체로 robots.txt를 무시한다고 말해요.[2]

관련 글

출처

  1. RFC 9309: Robots Exclusion Protocol, 2026년 11월 6일에 확인
  2. Perplexity: Perplexity crawlers, 2026년 11월 6일에 확인

2026년 11월 6일 업데이트. 틀리거나 오래된 내용이 있나요? connect@odeist.com 주소로 이메일을 보내 주세요(제목: 정정: robots.txt).

무료로 시작하기 7일 무료, 카드 등록 불필요.