Odeist AI

Обучение › Глоссарий

ИИ-краулер

ИИ-краулером называют бота, который загружает веб-страницы для ИИ-компании: либо для обучения моделей, либо чтобы отвечать на вопросы людей с помощью поиска. Для этих двух задач обычно используются разные боты, и можно разрешить одного и заблокировать другого.

OpenAI использует GPTBot для обхода контента, который может использоваться для обучения её моделей, и OAI-SearchBot для показа сайтов в поисковых функциях ChatGPT; компания говорит, что каждая настройка не зависит от остальных.[1] Anthropic использует ClaudeBot для обучения, Claude-SearchBot для поиска и Claude-User, когда человек спрашивает Claude о странице, и говорит, что её боты соблюдают robots.txt.[2] Perplexity говорит, что PerplexityBot находит сайты и даёт на них ссылки в его результатах поиска и не используется для обучения базовых моделей ИИ.[3]

Google-Extended устроен иначе: это не краулер, а токен robots.txt, который определяет, может ли контент, обходимый Google, использоваться для моделей Gemini, и Google говорит, что он не влияет на включение сайта в Google Поиск и его ранжирование.[4]

По теме

Источники

  1. OpenAI: Overview of OpenAI crawlers, прочитано 6 ноября 2026 г.
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, прочитано 6 ноября 2026 г.
  3. Perplexity: Perplexity crawlers, прочитано 6 ноября 2026 г.
  4. Google Search Central: Google’s common crawlers (Google-Extended), прочитано 6 ноября 2026 г.

Обновлено 6 ноября 2026 г.. Что-то неверно или устарело? Напишите на connect@odeist.com (тема: Исправление: ИИ-краулер).

Начать бесплатно 7 дней бесплатно, карта не нужна.