OpenAI는 모델 학습에 쓰일 수 있는 콘텐츠를 크롤링하는 데 GPTBot을, ChatGPT 검색 기능에서 웹사이트를 보여 주는 데 OAI-SearchBot을 쓰며, 각 설정은 서로 독립적이라고 말해요.[1] Anthropic은 학습용 ClaudeBot, 검색용 Claude-SearchBot, 사람이 Claude에게 페이지에 대해 물을 때 쓰는 Claude-User를 운영하며, 자사 봇이 robots.txt를 따른다고 말해요.[2] Perplexity는 PerplexityBot이 검색 결과에서 웹사이트를 보여 주고 링크하며, AI 기반 모델 학습에는 쓰이지 않는다고 말해요.[3]
Google-Extended는 달라요. 크롤러가 아니라, Google이 크롤링한 콘텐츠를 Gemini 모델에 써도 되는지를 제어하는 robots.txt 토큰이에요. Google은 이것이 Google 검색에서 사이트의 포함 여부나 순위에 영향을 주지 않는다고 말해요.[4]
관련 글
출처
- OpenAI: Overview of OpenAI crawlers, 2026년 11월 6일에 확인
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, 2026년 11월 6일에 확인
- Perplexity: Perplexity crawlers, 2026년 11월 6일에 확인
- Google Search Central: Google’s common crawlers (Google-Extended), 2026년 11월 6일에 확인
2026년 11월 6일 업데이트. 틀리거나 오래된 내용이 있나요? connect@odeist.com 주소로 이메일을 보내 주세요(제목: 정정: AI 크롤러).
무료로 시작하기 7일 무료, 카드 등록 불필요.