Проверка robots.txt онлайн

Проверка robots.txt онлайн: как прочитать отчёт

Чтобы проверить robots.txt онлайн, достаточно ввести адрес сайта: инструмент берёт хост из адреса и запрашивает https://хост/robots.txt, проходя по редиректам. Поддомены — отдельные хосты со своими файлами, поэтому shop.example.com проверяйте отдельно от example.com. Если файл не загрузился, вы увидите причину: 404 («файл не найден»), другой код ошибки HTTP или сетевую ошибку.

Если файл получен, анализ robots.txt выдаёт оценку от 0 до 100, число строк, количество правил Allow и Disallow, список Sitemap, таблицу правил по каждому User-agent и исходный текст файла. Оценка снижается так:

Отдельно выводятся предупреждения без штрафа: Crawl-delay больше 10 секунд и размер больше 512 КБ (Google читает только первые 500 КиБ файла). В исходном тексте ищите строки, которые не попали в таблицу правил: опечатка в директиве (Dissalow) или правило до первого User-agent — частая причина того, что «файл есть, а не работает».

Синтаксис robots.txt: директивы и приоритет правил

Файл состоит из групп. Группа начинается с одной или нескольких строк User-agent, за ними идут Disallow (запретить обход) и Allow (разрешить). Sitemap не привязан к группе и может стоять где угодно. Названия директив нечувствительны к регистру, а пути — чувствительны: /Catalog/ и /catalog/ — разные правила. Пустой Disallow: ничего не запрещает.

Символы * и $

• * — любая последовательность символов: Disallow: /*?sort= закрывает все адреса с параметром sort.
• $ — конец адреса: Disallow: /*.pdf$ закрывает PDF, но не /file.pdf?v=2.

Какое правило побеждает

Google не читает правила сверху вниз. Из всех подходящих к URL правил выбирается самое длинное (самое конкретное); при равной длине побеждает Allow.

User-agent: *
Disallow: /catalog/
Allow: /catalog/shoes/

Здесь /catalog/shoes/nike открыт, /catalog/bags/ закрыт.

Группы User-agent не складываются

Робот выполняет только самую конкретную подходящую ему группу. Если есть блок User-agent: Googlebot, Googlebot полностью игнорирует правила из User-agent: * — их нужно продублировать в его блоке. Это одна из самых частых причин, почему закрытые разделы всё равно сканируются.

Готовые примеры robots.txt

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.com/wp-sitemap.xml

Не закрывайте /wp-content/ и /wp-includes/: там CSS, JS и изображения, без которых Google не отрисует страницу. Если карту строит SEO-плагин, укажите его адрес (например, /sitemap_index.xml).

Tilda

На Tilda robots.txt формирует платформа, а управляют им через настройки сайта и страниц (запрет индексации, исключение страниц из карты), а не правкой файла. После публикации всё равно проверьте результат: частая ситуация — забытый запрет индексации, включённый на время разработки.

1С-Битрикс

User-agent: *
Disallow: /bitrix/
Allow: /bitrix/*.css
Allow: /bitrix/*.js
Allow: /upload/
Disallow: /auth/
Disallow: /personal/
Disallow: /search/
Disallow: /*?*print=
Disallow: /*?*backurl=

Sitemap: https://example.com/sitemap.xml

Строки Allow для CSS и JS длиннее, чем Disallow: /bitrix/, поэтому по правилу самого длинного совпадения ресурсы шаблона остаются доступны.

Интернет-магазин: фильтры, сортировки, utm

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /*?*utm_

Sitemap: https://example.com/sitemap.xml

Оговорка про utm: закрытый адрес Google не сканирует и не видит на нём canonical. Если на ссылки с метками много внешних ссылок, надёжнее оставить их открытыми и указать canonical на чистый URL. Посадочные страницы фильтров, которые должны ранжироваться («кроссовки мужские 42»), не закрывайте.

Типичные ошибки в файле robots.txt

• Disallow: / на рабочем сайте — файл перенесли с тестового сервера. Инструмент выделяет это отдельным предупреждением.
• Закрыты CSS и JS (/assets/, /static/, /bitrix/ без Allow) — Google видит страницу «сломанной», что вредит оценке мобильной версии.
• Кириллица в путях. Google понимает UTF-8, но надёжнее записывать пути в процентной кодировке, как они выглядят в адресной строке после копирования. Кириллический домен в Sitemap — только в Punycode.
• BOM и не та кодировка. Google игнорирует BOM в начале файла, но другие парсеры могут прочитать первую строку как мусор и потерять первую группу. Сохраняйте файл в UTF-8 без BOM.
• Disallow вместо noindex. Запрет обхода не удаляет страницу из индекса: она может остаться в выдаче без описания. Подробно — в статье noindex, nofollow и robots.
• Относительный адрес в Sitemap (Sitemap: /sitemap.xml) — нужен полный URL с протоколом.

Если robots.txt отдаёт 5xx или редирект

Поэтому 5xx на robots.txt опаснее, чем его отсутствие: обход сайта останавливается, и краулинговый бюджет уходит впустую. Google кэширует файл обычно до 24 часов, так что исправления вступают в силу не мгновенно.

Clean-param, Host, Crawl-delay: что Google игнорирует

• Host — устаревшая директива Яндекса для главного зеркала; Google её не читает. Главное зеркало задаётся 301-редиректом и canonical.
• Clean-param — директива Яндекса для склейки адресов с параметрами. Google её игнорирует; для него — canonical.
• Crawl-delay — Google не поддерживает, скорость обхода он подбирает сам по ответам сервера. Bing и Яндекс учитывают значение, поэтому инструмент предупреждает о задержке больше 10 секунд.
• Noindex в robots.txt Google не поддерживает с 2019 года.

Эти строки не ломают файл — Google просто пропускает их, а правила для других роботов продолжают работать.

Проверка robots.txt в Google Search Console

Старый «Инструмент проверки файла robots.txt» Google закрыл в 2023 году. Теперь в Search Console есть отчёт robots.txt (Настройки → robots.txt): какие версии файла Google получил по каждому хосту, когда, с каким статусом и какие строки не распознал; там же можно запросить повторное сканирование после правки. Закрыт ли конкретный адрес, покажет проверка URL — статус «Заблокировано в файле robots.txt». Полная спецификация — в документации Google.

Порядок работы: проверьте файл здесь, при необходимости соберите новый в генераторе robots.txt, убедитесь, что карта из строки Sitemap открывается и не содержит закрытых адресов, — для этого есть анализ sitemap.xml.