Перевірка robots.txt: як перевірити файл і чи закритий URL, типові помилки
Перевірка robots.txt зводиться до трьох питань: чи відкривається файл за адресою https://ваш-сайт/robots.txt з кодом 200, чи немає в ньому правил, що закривають потрібні розділи, і чи не потрапляють важливі адреси під Disallow. robots.txt керує обходом сайту, і помилка в одному рядку здатна закрити його цілком — тому файл варто перевіряти після кожної зміни. Розібрати свій файл можна перевіркою robots.txt, а зібрати новий з нуля — генератором.
Як перевірити robots.txt: покроково
- Відкрийте файл у браузері:
https://example.com/robots.txt. Він має лежати в корені хоста. Правила діють лише для того протоколу, хоста й порту, де лежить файл: уshop.example.comсвій robots.txt, уexample.com— свій. - Перевірте код відповіді:
curl -I https://example.com/robots.txt. Потрібен 200. Перенаправлення допустиме, але Google проходить не більше п'яти переходів. Що означають інші коди — у таблиці нижче. - Розберіть файл аналізатором. Перевірка robots.txt завантажить файл, розкладе правила за групами User-agent, покаже Allow і Disallow, Sitemap, Crawl-delay та вихідний текст. Вона попередить, якщо для всіх роботів стоїть
Disallow: /, якщо немає посилання на Sitemap, якщо Crawl-delay більше 10 або файл завеликий, і виставить оцінку від 0 до 100. - Перевірте важливі адреси проти правил: головну, категорії, сторінки, які просуваєте, файли CSS і JS. Як це зробити вручну — у наступному розділі.
- Відкрийте звіт robots.txt у Search Console (Налаштування → robots.txt). Він показує, які файли robots.txt Google знайшов для 20 основних хостів сайту, коли завантажував їх востаннє, статус, розмір і помилки розбору. Після термінової правки там само можна попросити повторне сканування файлу. Звіт доступний для ресурсу типу «Домен» або ресурсу з префіксом без шляху. Старого окремого «Інструмента перевірки файлу robots.txt» більше немає — його замінив цей звіт.
- Перевірте конкретну сторінку інструментом «Перевірка URL» у Search Console: він покаже, чи дозволене сканування, а якщо ні — що його блокує.
Чого наш аналізатор не робить: не перевіряє конкретний URL проти правил і не знає, як правила розуміє конкретний робот. Він показує файл таким, яким його бачить будь-який відвідувач, і ловить грубі помилки. Окремі адреси звіряйте за алгоритмом нижче або в Search Console.
Що перевіряє інструмент
- Завантажує файл із кореня домену через HTTPS —
https://домен/robots.txt, проходячи перенаправлення, і повідомляє, якщо файлу немає (404), сервер відповів помилкою 4xx чи 5xx або файл не вдалося завантажити. - Розкладає правила за групами
User-agent: які шляхи закриті (Disallow) і відкриті (Allow) і для яких роботів. Рахує рядки й правила. - Показує посилання на карту сайту (
Sitemap) і значенняCrawl-delay. - Попереджає про грубі проблеми: у файлі немає жодної групи
User-agent; для всіх роботів стоїтьDisallow: /; немає посилання на Sitemap;Crawl-delayбільше 10; файл довший за 500 рядків або більший за 512 КБ. - Ставить оцінку від 0 до 100 і виводить вихідний текст файлу.
Чого інструмент не перевіряє: синтаксис і друкарські помилки — рядок із помилкою в назві директиви він просто пропустить; чи закриті CSS, JS і конкретні адреси — їх звіряють вручну за правилами нижче або в Search Console.
Типові помилки
| Помилка | Наслідок |
|---|---|
Disallow: / для всіх роботів | Сайт повністю закритий від обходу — класика після переносу з тестового сервера |
| Закриті CSS і JS | Робот бачить сторінку інакше, ніж користувач, і гірше її оцінює |
| Спроба прибрати сторінку з індексу через robots.txt | Не працює: заборона обходу не дорівнює видаленню з індексу, для цього потрібен noindex |
| Немає посилання на карту сайту | Робот довше знаходить нові сторінки |
| Різні файли на www і без www | Поведінка залежить від того, який варіант обходять |
Як перевірити, чи закритий конкретний URL
- Знайдіть свою групу. Робот підкоряється лише одній групі — тій, де User-agent найточніше збігається з його іменем. Якщо у файлі є група
User-agent: Googlebot, правила зUser-agent: *для Googlebot уже не діють. Кілька груп з однаковим User-agent Google об'єднує. - Випишіть правила, що збігаються з початком шляху URL. Порівняння враховує регістр, параметри після
?— теж частина адреси. - Перемагає найдовше правило. Якщо відповідні Allow і Disallow однакової довжини, Google обирає найменш суворе — Allow.
- Жодного збігу немає — адреса дозволена.
У шляхах працюють два спецсимволи: * — будь-яка послідовність символів, зокрема порожня; $ — кінець адреси.
| Правила | URL | Результат |
|---|---|---|
Disallow: /catalog/Allow: /catalog/sale/ | /catalog/sale/shoes | Дозволено: Allow довше |
Disallow: /*.pdf$ | /files/price.pdf | Закрито |
Disallow: /*.pdf$ | /files/price.pdf?v=2 | Дозволено: адреса не закінчується на .pdf |
Disallow: /*?sort= | /shoes?color=red&sort=price | Дозволено: sort= іде не одразу після ?; надійніше /*sort= |
Allow: /pageDisallow: /page | /page | Дозволено: довжина однакова, перемагає Allow |
Disallow: /Admin/ | /admin/ | Дозволено: регістр не збігається |
Disallow: (порожньо) | будь-який | Дозволено: порожнє правило нічого не закриває |
Коди відповіді robots.txt і ліміти Google
| Відповідь сервера на /robots.txt | Як діє Google |
|---|---|
| 2xx | Читає файл і виконує правила |
| 3xx | Проходить до п'яти переходів; далі вважає, що файлу немає (як 404) |
| 4xx, крім 429 | Вважає, що файлу немає, — обмежень на сканування немає |
| 5xx і 429, мережеві помилки | Перші 12 годин не сканує сайт і пробує знову завантажити файл; потім до 30 днів використовує останню вдалу версію; далі поведінка залежить від доступності сайту |
Звідси неочевидний висновок: robots.txt, що через помилку віддає 500, небезпечніший за відсутній файл — 404 означає «можна все», а 5xx зупиняє сканування. Ще два обмеження з документації Google про robots.txt: Google читає не більше 500 КіБ файлу, усе далі ігнорується; вміст зазвичай кешується до 24 годин, тому правки набувають чинності не миттєво.
Директиви, на які не варто покладатися
Частина рядків, які зустрічаються в чужих файлах, сучасними роботами ігнорується або розуміється по-своєму: затримка обходу, вказівка основного дзеркала, нестандартні шаблони адрес. Google офіційно підтримує обмежений набір директив; все інше або не діє, або трактуються інакше різними пошуковими системами. Тому чим коротший і простіший файл, тим передбачуваніший результат.
robots.txt і ШІ-боти
ШІ-сервіси обходять сайти власними роботами, і закриваються вони в robots.txt так само — окремими групами User-agent: GPTBot, ClaudeBot, PerplexityBot та інші. Google-Extended — не окремий робот, а токен: він керує використанням контенту для ШІ-моделей Google і не впливає на звичайний пошук. Важливо не сплутати: заборона навчання і заборона ШІ-пошуку — різні боти, і закривши всіх підряд, можна зникнути з відповідей ШІ-асистентів. Готові блоки й наслідки кожної заборони — у статті як закрити сайт від ШІ-ботів у robots.txt, а зібрати файл з потрібними групами можна в генераторі robots.txt.
Мінімальний робочий файл
Для більшості сайтів достатньо відкрити все, закрити службові розділи, кошик і результати внутрішнього пошуку, а потім вказати карту сайту. Все інше — за необхідності. Перевірте після змін, що потрібні сторінки залишилися доступними: чекером індексації і в Search Console.
Пов'язані перевірки
Одночасно варто подивитися карту сайту і різницю між noindex, nofollow і robots.txt — ці три речі плутають найчастіше.