배우기 › 답변
robots.txt에서 AI 크롤러를 차단해야 할까요?
짧은 답변: 고객을 원하는 대부분의 비즈니스는 AI 검색 봇은 허용하고 학습 봇은 따로 판단해야 해요. OpenAI의 OAI-SearchBot, Anthropic의 Claude-SearchBot, PerplexityBot 같은 검색 봇은 AI 답변에서 내가 발견되고 링크될 수 있는지를 결정해요. GPTBot과 ClaudeBot 같은 학습 봇은 모델 학습을 위해 콘텐츠를 모아요. 한 종류는 차단하고 다른 종류는 허용할 수 있어요.
검색 봇: 차단하면 잃는 것
- OpenAI의 OAI-SearchBot은 ChatGPT 검색 기능에서 웹사이트를 보여 주는 데 쓰여요. 거부한 사이트는 ChatGPT 검색 답변에 나오지 않지만, 탐색용 링크로는 여전히 나올 수 있어요.[1]
- Anthropic의 Claude-SearchBot은 Claude 사용자를 위한 검색 결과를 개선해요. 차단하면 콘텐츠가 검색용으로 색인되지 않아 Claude 답변에서의 노출이 줄 수 있어요.[2]
- PerplexityBot은 Perplexity 검색 결과에서 웹사이트를 보여 주고 링크하며, 기반 모델 학습에는 쓰이지 않아요.[3]
학습 봇: 내가 정하기
- OpenAI의 GPTBot은 모델 학습에 쓰일 수 있는 콘텐츠를 크롤링해요. OpenAI는 각 설정이 독립적이라서 GPTBot을 차단하고도 OAI-SearchBot은 허용할 수 있다고 말해요.[1]
- Anthropic의 ClaudeBot은 학습에 기여할 수 있는 콘텐츠를 모아요. 차단하면 앞으로의 콘텐츠가 학습 데이터에서 제외돼요.[2]
- Google-Extended는 별도의 크롤러가 아니라 robots.txt 토큰이에요. Gemini 모델에 콘텐츠를 쓰는 것을 제어하며, Google은 이것이 Google 검색 포함 여부나 순위에 영향을 주지 않는다고 말해요.[4]
사람을 대신해 움직이는 페처
어떤 페처는 사람이 그 페이지에 대해 물었기 때문에 방문해요. Perplexity는 그런 이유로 Perplexity-User가 대체로 robots.txt를 무시한다고 말해요.[3] OpenAI는 ChatGPT-User가 검색에 무엇이 나올지 정하는 데 쓰이지 않으며, robots.txt 규칙이 적용되지 않을 수 있다고 말해요.[1] robots.txt는 요청이지 자물쇠가 아니에요. 프로토콜 자체가 그 규칙이 접근 권한 부여의 한 형태가 아니라고 말해요.[5]
검색은 허용하고 학습은 차단하는 robots.txt
각 그룹은 User-agent로 봇을 지정하고 Disallow로 가져가면 안 되는 것을 나열해요. 크롤러는 자기를 지정한 그룹을 따르고, 그런 그룹이 없을 때만 “*” 그룹을 따라요.[5] 그래서 다른 건 모두 허용하면서 GPTBot, ClaudeBot, Google-Extended만 차단하려면, 이들에게 “Disallow: /”를 쓴 전용 그룹을 주고 검색 봇은 평소 규칙 아래 두세요. 전용 그룹에 지정된 봇은 “*” 규칙을 무시하니, 계속 따라야 할 Disallow 줄은 다시 적어 주세요. 바꿀 때마다 파일을 테스트하세요.
질문
ChatGPT는 robots.txt 변경을 얼마나 빨리 알아차리나요?
OpenAI는 robots.txt를 업데이트한 뒤 검색 시스템이 반영하는 데 약 24시간이 걸릴 수 있다고 말해요.[1]
Anthropic은 robots.txt를 따르나요?
Anthropic은 자사 봇이 robots.txt 지시를 따른다고 말하며, IP 차단은 봇이 파일을 아예 읽지 못하게 하므로 제대로 작동하지 않을 수 있다고 덧붙여요.[2]
관련 글
출처
- OpenAI: Overview of OpenAI crawlers, 2026년 11월 6일에 확인
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, 2026년 11월 6일에 확인
- Perplexity: Perplexity crawlers, 2026년 11월 6일에 확인
- Google Search Central: Google’s common crawlers (Google-Extended), 2026년 11월 6일에 확인
- RFC 9309: Robots Exclusion Protocol, 2026년 11월 6일에 확인
2026년 11월 6일 업데이트. 틀리거나 오래된 내용이 있나요? connect@odeist.com 주소로 이메일을 보내 주세요(제목: 정정: robots.txt에서 AI 크롤러를 차단해야 할까요?).
무료로 시작하기 7일 무료, 카드 등록 불필요.