Перевірка robots.txt онлайн

Перевірка robots.txt онлайн: як читати звіт

Щоб перевірити robots.txt онлайн, введіть адресу сайту: інструмент бере хост з адреси й запитує https://хост/robots.txt, проходячи редиректи. Піддомени — окремі хости з власними файлами, тому shop.example.com перевіряйте окремо від example.com. Якщо файл не завантажився, ви побачите причину: 404 («файл не знайдено»), інший код помилки HTTP або мережеву помилку.

Коли файл отримано, аналіз robots.txt показує оцінку від 0 до 100, кількість рядків, кількість правил Allow і Disallow, список Sitemap, таблицю правил для кожного User-agent і вихідний текст файлу. Оцінка знижується так:

Окремо виводяться попередження без штрафу: Crawl-delay понад 10 секунд і розмір понад 512 КБ (Google читає лише перші 500 КіБ файлу). У вихідному тексті шукайте рядки, яких немає в таблиці правил: одрук у директиві (Dissalow) або правило до першого User-agent — часта причина ситуації «файл є, а не працює».

Синтаксис robots.txt: директиви та пріоритет правил

Файл складається з груп. Група починається з одного чи кількох рядків User-agent, далі йдуть Disallow (заборонити обхід) і Allow (дозволити). Sitemap не прив'язаний до групи й може стояти будь-де. Назви директив не залежать від регістру, а шляхи — залежать: /Catalog/ і /catalog/ — різні правила. Порожній Disallow: нічого не забороняє.

Символи * і $

• * — будь-яка послідовність символів: Disallow: /*?sort= закриває всі адреси з параметром sort.
• $ — кінець адреси: Disallow: /*.pdf$ закриває PDF, але не /file.pdf?v=2.

Яке правило перемагає

Google не читає правила згори донизу. З усіх правил, що підходять до URL, обирається найдовше (найконкретніше); за однакової довжини перемагає Allow.

User-agent: *
Disallow: /catalog/
Allow: /catalog/shoes/

Тут /catalog/shoes/nike відкрито, /catalog/bags/ закрито.

Групи User-agent не додаються

Робот виконує лише найконкретнішу групу, що йому підходить. Якщо є блок User-agent: Googlebot, Googlebot повністю ігнорує правила з User-agent: * — їх треба продублювати в його блоці. Це одна з найчастіших причин, чому закриті розділи все одно скануються.

Готові приклади robots.txt

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.com/wp-sitemap.xml

Не закривайте /wp-content/ і /wp-includes/: там CSS, JS і зображення, без яких Google не відмалює сторінку. Якщо карту будує SEO-плагін, вкажіть його адресу (наприклад, /sitemap_index.xml).

Tilda

На Tilda robots.txt формує платформа, а керують ним через налаштування сайту й сторінок (заборона індексації, виключення сторінок з карти), а не редагуванням файлу. Після публікації все одно перевірте результат: типова ситуація — забута заборона індексації, увімкнена на час розробки.

1С-Бітрікс

User-agent: *
Disallow: /bitrix/
Allow: /bitrix/*.css
Allow: /bitrix/*.js
Allow: /upload/
Disallow: /auth/
Disallow: /personal/
Disallow: /search/
Disallow: /*?*print=
Disallow: /*?*backurl=

Sitemap: https://example.com/sitemap.xml

Рядки Allow для CSS і JS довші за Disallow: /bitrix/, тож за правилом найдовшого збігу ресурси шаблону лишаються доступними.

Інтернет-магазин: фільтри, сортування, utm

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /*?*utm_

Sitemap: https://example.com/sitemap.xml

Застереження щодо utm: закриту адресу Google не сканує і не бачить на ній canonical. Якщо на адреси з мітками веде багато зовнішніх посилань, надійніше залишити їх відкритими й вказати canonical на чистий URL. Посадкові сторінки фільтрів, які мають ранжуватися («кросівки чоловічі 42»), не закривайте.

Типові помилки у файлі robots.txt

• Disallow: / на робочому сайті — файл перенесли з тестового сервера. Інструмент виділяє це окремим попередженням.
• Закрито CSS і JS (/assets/, /static/, /bitrix/ без Allow) — Google бачить сторінку «зламаною», що шкодить оцінці мобільної версії.
• Кирилиця в шляхах. Google розуміє UTF-8, але надійніше записувати шляхи у відсотковому кодуванні — так, як вони виглядають після копіювання з адресного рядка. Кириличний домен у Sitemap — лише в Punycode.
• BOM і не те кодування. Google ігнорує BOM на початку файлу, але інші парсери можуть прочитати перший рядок як сміття й загубити першу групу. Зберігайте файл в UTF-8 без BOM.
• Disallow замість noindex. Заборона обходу не видаляє сторінку з індексу: вона може лишитися у видачі без опису. Докладно — у статті noindex, nofollow і robots.
• Відносна адреса в Sitemap (Sitemap: /sitemap.xml) — потрібна повна URL-адреса з протоколом.

Якщо robots.txt віддає 5xx або редирект

Тому 5xx на robots.txt небезпечніший за його відсутність: обхід сайту зупиняється, і краулінговий бюджет витрачається марно. Google кешує файл зазвичай до 24 годин, тож виправлення починають діяти не миттєво.

Clean-param, Host, Crawl-delay: що Google ігнорує

• Host — застаріла директива Яндекса для головного дзеркала; Google її не читає. Головне дзеркало задається 301-редиректом і canonical.
• Clean-param — директива Яндекса для склеювання адрес з параметрами. Google її ігнорує; для нього — canonical.
• Crawl-delay — Google не підтримує, швидкість обходу він підбирає сам за відповідями сервера. Bing враховує значення, тому інструмент попереджає про затримку понад 10 секунд.
• Noindex у robots.txt Google не підтримує з 2019 року.

Ці рядки не ламають файл — Google просто пропускає їх, а правила для інших роботів продовжують працювати.

Перевірка robots.txt у Google Search Console

Старий інструмент перевірки файлу robots.txt Google закрив у 2023 році. Тепер у Search Console є звіт robots.txt (Налаштування → robots.txt): які версії файлу Google отримав для кожного хоста, коли, з яким статусом і які рядки не розпізнав; там само можна запросити повторне сканування після правки. Чи закрита конкретна адреса, покаже перевірка URL — статус «Заблоковано у файлі robots.txt». Повна специфікація — у документації Google.

Порядок роботи: перевірте файл тут, за потреби зберіть новий у генераторі robots.txt, переконайтеся, що карта з рядка Sitemap відкривається й не містить закритих адрес, — для цього є аналіз sitemap.xml.