Аналіз robots.txt

Перевірте robots.txt: директиви Allow/Disallow, User-Agent, Sitemap, Crawl-delay. Знайдіть помилки, що заважають індексації.

Аналіз robots.txt — перевірка доступу для ботів

Перевірте файл robots.txt: директиви Allow/Disallow, блоки User-Agent, посилання на Sitemap, синтаксичні помилки. Переконайтеся, що пошукові боти бачать весь потрібний контент вашого сайту.

Парсинг усіх директив robots.txt

Аналіз блоків User-Agent

Перевірка посилань на Sitemap

Виявлення синтаксичних помилок

Перевірка доступності критичних URL

Рекомендації щодо налаштування

Як користуватися

Введіть домен для перевірки robots.txt
Вивчіть список директив та помилок
Виправте проблеми, що блокують індексацію

FAQ

Robots.txt — текстовий файл у корені сайту, який вказує пошуковим ботам, які сторінки сканувати, а які ігнорувати. Це не захист від індексації — використовуйте meta robots noindex для заборони.

Блокування CSS/JS-файлів заважає рендерингу. Блокування /admin/ без винятків для ресурсів. Відсутність посилання на Sitemap. Некоректний синтаксис директив.