Проверка robots.txt: как проверить файл и закрыт ли URL, частые ошибки
Проверка robots.txt сводится к трём вопросам: открывается ли файл по адресу https://ваш-сайт/robots.txt с кодом 200, нет ли в нём правил, закрывающих нужные разделы, и не попадают ли важные адреса под Disallow. robots.txt управляет обходом сайта, и ошибка в одной строке способна закрыть его целиком — поэтому проверять файл стоит после каждого изменения. Разобрать свой файл можно проверкой robots.txt, а собрать новый с нуля — генератором.
Как проверить robots.txt: пошагово
- Откройте файл в браузере:
https://example.com/robots.txt. Он должен лежать в корне хоста. Правила действуют только для того протокола, хоста и порта, где лежит файл: уshop.example.comсвой robots.txt, уexample.com— свой. - Проверьте код ответа:
curl -I https://example.com/robots.txt. Нужен 200. Перенаправление допустимо, но Google проходит не больше пяти переходов. Что значат другие коды — в таблице ниже. - Разберите файл анализатором. Проверка robots.txt загрузит файл, разложит правила по группам User-agent, покажет Allow и Disallow, Sitemap, Crawl-delay и исходный текст. Она предупредит, если для всех роботов стоит
Disallow: /, если нет ссылки на Sitemap, если Crawl-delay больше 10 или файл слишком большой, и выставит оценку от 0 до 100. - Проверьте важные адреса против правил: главную, категории, продвигаемые страницы, файлы CSS и JS. Как это сделать вручную — в следующем разделе.
- Откройте отчёт robots.txt в Search Console (Настройки → robots.txt). Он показывает, какие файлы robots.txt Google нашёл для 20 основных хостов сайта, когда загружал их последний раз, статус, размер и ошибки разбора. После срочной правки там же можно запросить повторное сканирование файла. Отчёт доступен для ресурса типа «Домен» или ресурса с префиксом без пути. Старого отдельного «Инструмента проверки файла robots.txt» больше нет — его заменил этот отчёт.
- Проверьте конкретную страницу инструментом «Проверка URL» в Search Console: он покажет, разрешено ли сканирование, и если нет — что его блокирует.
Чего наш анализатор не делает: не проверяет конкретный URL против правил и не знает, как правила понимает конкретный робот. Он показывает файл таким, каким его видит любой посетитель, и ловит грубые ошибки. Сверять отдельные адреса — по алгоритму ниже или в Search Console.
Что проверяет инструмент
- Загружает файл с корня домена по HTTPS —
https://домен/robots.txt, проходя перенаправления, и сообщает, если файла нет (404), сервер ответил ошибкой 4xx или 5xx или файл не удалось загрузить. - Раскладывает правила по группам
User-agent: какие пути закрыты (Disallow) и открыты (Allow) и для каких роботов. Считает строки и правила. - Показывает ссылки на карту сайта (
Sitemap) и значениеCrawl-delay. - Предупреждает о грубых проблемах: в файле нет ни одной группы
User-agent; для всех роботов стоитDisallow: /; нет ссылки на Sitemap;Crawl-delayбольше 10; файл длиннее 500 строк или больше 512 КБ. - Ставит оценку от 0 до 100 и выводит исходный текст файла.
Чего инструмент не проверяет: синтаксис и опечатки — строку с ошибкой в названии директивы он просто пропустит; закрыты ли CSS, JS и конкретные адреса — их сверяют вручную по правилам ниже или в Search Console.
Типичные ошибки
| Ошибка | Последствие |
|---|---|
Disallow: / для всех роботов | Сайт полностью закрыт от обхода — классика после переноса с тестового сервера |
| Закрыты CSS и JS | Робот видит страницу иначе, чем пользователь, и хуже её оценивает |
| Попытка убрать страницу из индекса через robots.txt | Не работает: запрет обхода не равен удалению из индекса, для этого нужен noindex |
| Нет ссылки на карту сайта | Робот дольше находит новые страницы |
| Разные файлы на www и без www | Поведение зависит от того, какой вариант обходят |
Как проверить, закрыт ли конкретный URL
- Найдите свою группу. Робот подчиняется только одной группе — той, где User-agent совпадает с его именем точнее всего. Если в файле есть группа
User-agent: Googlebot, правила изUser-agent: *для Googlebot уже не действуют. Несколько групп с одним и тем же User-agent Google объединяет. - Выпишите правила, которые совпадают с началом пути URL. Сравнение идёт с учётом регистра, параметры после
?— тоже часть адреса. - Побеждает самое длинное правило. Если подходящие Allow и Disallow одинаковой длины, Google выбирает наименее строгое — Allow.
- Нет ни одного совпадения — адрес разрешён.
В путях работают два спецсимвола: * — любая последовательность символов, в том числе пустая; $ — конец адреса.
| Правила | URL | Результат |
|---|---|---|
Disallow: /catalog/Allow: /catalog/sale/ | /catalog/sale/shoes | Разрешён: Allow длиннее |
Disallow: /*.pdf$ | /files/price.pdf | Закрыт |
Disallow: /*.pdf$ | /files/price.pdf?v=2 | Разрешён: адрес не заканчивается на .pdf |
Disallow: /*?sort= | /shoes?color=red&sort=price | Разрешён: sort= идёт не сразу после ?; надёжнее /*sort= |
Allow: /pageDisallow: /page | /page | Разрешён: длина равна, побеждает Allow |
Disallow: /Admin/ | /admin/ | Разрешён: регистр не совпадает |
Disallow: (пусто) | любой | Разрешён: пустое правило ничего не закрывает |
Коды ответа robots.txt и лимиты Google
| Ответ сервера на /robots.txt | Как поступает Google |
|---|---|
| 2xx | Читает файл и следует правилам |
| 3xx | Проходит до пяти переходов; дальше считает, что файла нет (как 404) |
| 4xx, кроме 429 | Считает, что файла нет, — ограничений на сканирование нет |
| 5xx и 429, сетевые ошибки | Первые 12 часов не сканирует сайт и пытается снова загрузить файл; затем до 30 дней использует последнюю удачную версию; дальше поведение зависит от доступности сайта |
Отсюда неочевидный вывод: robots.txt, который из-за ошибки отдаёт 500, опаснее отсутствующего файла — 404 означает «можно всё», а 5xx останавливает сканирование. Ещё два ограничения из документации Google о robots.txt: Google читает не больше 500 КиБ файла, всё дальше игнорируется; содержимое обычно кэшируется до 24 часов, поэтому правки вступают в силу не мгновенно.
Директивы, на которые не стоит полагаться
Часть строк, которые встречаются в чужих файлах, современными роботами игнорируется или понимается по-своему: задержка обхода, указание основного зеркала, нестандартные шаблоны адресов. Google официально поддерживает ограниченный набор директив; всё остальное либо не действует, либо трактуется иначе разными поисковыми системами. Поэтому чем короче и проще файл, тем предсказуемее результат.
robots.txt и ИИ-боты
ИИ-сервисы обходят сайты своими роботами, и закрываются они в robots.txt так же — отдельными группами User-agent: GPTBot, ClaudeBot, PerplexityBot и другие. Google-Extended — не отдельный робот, а токен: он управляет использованием контента для ИИ-моделей Google и не влияет на обычный поиск. Важно не перепутать: запрет обучения и запрет ИИ-поиска — разные боты, и закрыв всех подряд, можно пропасть из ответов ИИ-ассистентов. Готовые блоки и последствия каждого запрета — в статье как закрыть сайт от ИИ-ботов в robots.txt, а собрать файл с нужными группами можно в генераторе robots.txt.
Минимальный рабочий файл
Для большинства сайтов достаточно открыть всё, закрыть служебные разделы, корзину и результаты внутреннего поиска, а затем указать карту сайта. Всё остальное — по необходимости. Проверьте после изменений, что нужные страницы остались доступны: чекером индексации и в Search Console.
Связанные проверки
Одновременно стоит посмотреть карту сайта и разницу между noindex, nofollow и robots.txt — эти три вещи путают чаще всего.