Анализ robots.txt

Проверьте robots.txt: директивы Allow/Disallow, User-Agent, Sitemap, Crawl-delay. Найдите ошибки, мешающие индексации.

Анализ robots.txt — проверка доступа для ботов

Проверьте файл robots.txt: директивы Allow/Disallow, блоки User-Agent, ссылки на Sitemap, синтаксические ошибки. Убедитесь, что поисковые боты видят весь нужный контент вашего сайта.

Парсинг всех директив robots.txt

Анализ блоков User-Agent

Проверка ссылок на Sitemap

Обнаружение синтаксических ошибок

Проверка доступности критичных URL

Рекомендации по настройке

Как пользоваться

Введите домен для проверки robots.txt
Изучите список директив и ошибок
Исправьте проблемы, блокирующие индексацию

FAQ

Robots.txt — текстовый файл в корне сайта, который указывает поисковым ботам, какие страницы сканировать, а какие игнорировать. Это не защита от индексации — используйте meta robots noindex для запрета.

Блокировка CSS/JS-файлов мешает рендерингу. Блокировка /admin/ без исключений для ресурсов. Отсутствие ссылки на Sitemap. Некорректный синтаксис директив.