OpenAI использует GPTBot для обхода контента, который может использоваться для обучения её моделей, и OAI-SearchBot для показа сайтов в поисковых функциях ChatGPT; компания говорит, что каждая настройка не зависит от остальных.[1] Anthropic использует ClaudeBot для обучения, Claude-SearchBot для поиска и Claude-User, когда человек спрашивает Claude о странице, и говорит, что её боты соблюдают robots.txt.[2] Perplexity говорит, что PerplexityBot находит сайты и даёт на них ссылки в его результатах поиска и не используется для обучения базовых моделей ИИ.[3]
Google-Extended устроен иначе: это не краулер, а токен robots.txt, который определяет, может ли контент, обходимый Google, использоваться для моделей Gemini, и Google говорит, что он не влияет на включение сайта в Google Поиск и его ранжирование.[4]
По теме
Источники
- OpenAI: Overview of OpenAI crawlers, прочитано 6 ноября 2026 г.
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, прочитано 6 ноября 2026 г.
- Perplexity: Perplexity crawlers, прочитано 6 ноября 2026 г.
- Google Search Central: Google’s common crawlers (Google-Extended), прочитано 6 ноября 2026 г.
Обновлено 6 ноября 2026 г.. Что-то неверно или устарело? Напишите на connect@odeist.com (тема: Исправление: ИИ-краулер).
Начать бесплатно 7 дней бесплатно, карта не нужна.