Odeist AI

배우기 › 용어집

AI 크롤러

AI 크롤러는 AI 회사를 위해 웹 페이지를 가져오는 봇이에요. 모델을 학습시키거나, 검색으로 사람들의 질문에 답하기 위해서죠. 두 작업에는 보통 서로 다른 봇이 있어서, 하나는 허용하고 다른 하나는 차단할 수 있어요.

OpenAI는 모델 학습에 쓰일 수 있는 콘텐츠를 크롤링하는 데 GPTBot을, ChatGPT 검색 기능에서 웹사이트를 보여 주는 데 OAI-SearchBot을 쓰며, 각 설정은 서로 독립적이라고 말해요.[1] Anthropic은 학습용 ClaudeBot, 검색용 Claude-SearchBot, 사람이 Claude에게 페이지에 대해 물을 때 쓰는 Claude-User를 운영하며, 자사 봇이 robots.txt를 따른다고 말해요.[2] Perplexity는 PerplexityBot이 검색 결과에서 웹사이트를 보여 주고 링크하며, AI 기반 모델 학습에는 쓰이지 않는다고 말해요.[3]

Google-Extended는 달라요. 크롤러가 아니라, Google이 크롤링한 콘텐츠를 Gemini 모델에 써도 되는지를 제어하는 robots.txt 토큰이에요. Google은 이것이 Google 검색에서 사이트의 포함 여부나 순위에 영향을 주지 않는다고 말해요.[4]

관련 글

출처

  1. OpenAI: Overview of OpenAI crawlers, 2026년 11월 6일에 확인
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, 2026년 11월 6일에 확인
  3. Perplexity: Perplexity crawlers, 2026년 11월 6일에 확인
  4. Google Search Central: Google’s common crawlers (Google-Extended), 2026년 11월 6일에 확인

2026년 11월 6일 업데이트. 틀리거나 오래된 내용이 있나요? connect@odeist.com 주소로 이메일을 보내 주세요(제목: 정정: AI 크롤러).

무료로 시작하기 7일 무료, 카드 등록 불필요.