Odeist AI

Обучение › Глоссарий

robots.txt

robots.txt представляет собой обычный текстовый файл на верхнем уровне сайта, который сообщает краулерам, какие пути им можно и нельзя загружать.

Правила определены в RFC 9309, Robots Exclusion Protocol. Они должны находиться в файле с именем /robots.txt, только строчными буквами, в корневом пути сайта.[1] Каждая группа правил называет один или несколько краулеров строками User-agent и перечисляет пути, которые им нельзя загружать, строками Disallow.[1]

robots.txt является просьбой, а не замком. В RFC сказано, что правила не являются формой авторизации доступа.[1] Загрузчики, действующие от имени человека, могут вести себя иначе: Perplexity говорит, что его загрузчик Perplexity-User обычно игнорирует robots.txt, потому что страницу запросил пользователь.[2]

По теме

Источники

  1. RFC 9309: Robots Exclusion Protocol, прочитано 6 ноября 2026 г.
  2. Perplexity: Perplexity crawlers, прочитано 6 ноября 2026 г.

Обновлено 6 ноября 2026 г.. Что-то неверно или устарело? Напишите на connect@odeist.com (тема: Исправление: robots.txt).

Начать бесплатно 7 дней бесплатно, карта не нужна.