Правила определены в RFC 9309, Robots Exclusion Protocol. Они должны находиться в файле с именем /robots.txt, только строчными буквами, в корневом пути сайта.[1] Каждая группа правил называет один или несколько краулеров строками User-agent и перечисляет пути, которые им нельзя загружать, строками Disallow.[1]
robots.txt является просьбой, а не замком. В RFC сказано, что правила не являются формой авторизации доступа.[1] Загрузчики, действующие от имени человека, могут вести себя иначе: Perplexity говорит, что его загрузчик Perplexity-User обычно игнорирует robots.txt, потому что страницу запросил пользователь.[2]
По теме
Источники
- RFC 9309: Robots Exclusion Protocol, прочитано 6 ноября 2026 г.
- Perplexity: Perplexity crawlers, прочитано 6 ноября 2026 г.
Обновлено 6 ноября 2026 г.. Что-то неверно или устарело? Напишите на connect@odeist.com (тема: Исправление: robots.txt).
Начать бесплатно 7 дней бесплатно, карта не нужна.