Odeist AI

Обучение › Ответ

Стоит ли блокировать ИИ-краулеры в robots.txt?

Короткий ответ: Большинству компаний, которым нужны клиенты, стоит разрешить поисковых ИИ-ботов, а о ботах для обучения решить отдельно. Поисковые боты, такие как OAI-SearchBot от OpenAI, Claude-SearchBot от Anthropic и PerplexityBot, определяют, можно ли найти вас и сослаться на вас в ответах ИИ. Боты для обучения, такие как GPTBot и ClaudeBot, собирают контент для обучения моделей. Можно заблокировать один вид и разрешить другой.

Поисковые боты: чего вам стоит блокировка

  • OAI-SearchBot от OpenAI используется для показа сайтов в поисковых функциях ChatGPT; сайты, которые от него отказались, не появляются в поисковых ответах ChatGPT, хотя всё ещё могут показываться как навигационные ссылки.[1]
  • Claude-SearchBot от Anthropic улучшает результаты поиска для пользователей Claude; если его заблокировать, ваш контент не индексируется для поиска, что может снизить вашу видимость в ответах Claude.[2]
  • PerplexityBot находит сайты и даёт на них ссылки в результатах поиска Perplexity и не используется для обучения базовых моделей.[3]

Боты для обучения: решать вам

  • GPTBot от OpenAI обходит контент, который может использоваться для обучения её моделей. OpenAI говорит, что каждая настройка независима, поэтому можно заблокировать GPTBot и при этом разрешить OAI-SearchBot.[1]
  • ClaudeBot от Anthropic собирает контент, который может использоваться в обучении; его блокировка исключает ваш будущий контент из данных для обучения.[2]
  • Google-Extended является токеном robots.txt, а не отдельным краулером. Он управляет использованием вашего контента для моделей Gemini и, по словам Google, не влияет на ваше включение в Google Поиск и ранжирование в нём.[4]

Загрузчики, действующие от имени человека

Некоторые загрузчики заходят на страницу, потому что о ней спросил человек. Perplexity говорит, что по этой причине Perplexity-User обычно игнорирует robots.txt.[3] OpenAI говорит, что ChatGPT-User не используется для решения о том, что появляется в поиске, и правила robots.txt могут к нему не применяться.[1] robots.txt является просьбой, а не замком: сам протокол говорит, что его правила не являются формой авторизации доступа.[5]

robots.txt, который разрешает поиск и блокирует обучение

Каждая группа называет бота строкой User-agent и перечисляет, что ему нельзя загружать, строками Disallow. Краулер следует группе, в которой назван он, а группе «*» только тогда, когда его не называет ни одна группа.[5] Поэтому, чтобы заблокировать GPTBot, ClaudeBot и Google-Extended и разрешить всё остальное, дайте им отдельную группу с «Disallow: /», а поисковых ботов оставьте под вашими обычными правилами. Бот, названный в собственной группе, игнорирует правила «*», поэтому повторите строки Disallow, которым он всё ещё должен следовать. Проверяйте файл после каждого изменения.

Вопросы

Как быстро ChatGPT замечает изменение robots.txt?

OpenAI говорит, что после обновления robots.txt её поисковым системам может понадобиться около 24 часов, чтобы учесть изменения.[1]

Соблюдает ли Anthropic robots.txt?

Anthropic говорит, что её боты соблюдают директивы robots.txt, и отмечает, что блокировка по IP может работать ненадёжно, потому что тогда боты вообще не могут прочитать файл.[2]

По теме

Источники

  1. OpenAI: Overview of OpenAI crawlers, прочитано 6 ноября 2026 г.
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, прочитано 6 ноября 2026 г.
  3. Perplexity: Perplexity crawlers, прочитано 6 ноября 2026 г.
  4. Google Search Central: Google’s common crawlers (Google-Extended), прочитано 6 ноября 2026 г.
  5. RFC 9309: Robots Exclusion Protocol, прочитано 6 ноября 2026 г.

Обновлено 6 ноября 2026 г.. Что-то неверно или устарело? Напишите на connect@odeist.com (тема: Исправление: Стоит ли блокировать ИИ-краулеры в robots.txt?).

Начать бесплатно 7 дней бесплатно, карта не нужна.