Анализ robots.txt
Проверьте robots.txt: директивы Allow/Disallow, User-Agent, Sitemap, Crawl-delay. Найдите ошибки, мешающие индексации.
Анализ robots.txt — проверка доступа для ботов
Проверьте файл robots.txt: директивы Allow/Disallow, блоки User-Agent, ссылки на Sitemap, синтаксические ошибки. Убедитесь, что поисковые боты видят весь нужный контент вашего сайта.
Парсинг всех директив robots.txt
Анализ блоков User-Agent
Проверка ссылок на Sitemap
Обнаружение синтаксических ошибок
Проверка доступности критичных URL
Рекомендации по настройке
Как пользоваться
- Введите домен для проверки robots.txt
- Изучите список директив и ошибок
- Исправьте проблемы, блокирующие индексацию
Use Cases
- Проверка robots.txt перед запуском новой версии сайта.
- Выявление случайных блокировок важных разделов.
Limitations
- Проверяет файл robots.txt, но не заменяет аудит meta robots по всем страницам.
- Некоторые боты интерпретируют директивы по-своему.
Example Input / Output
Пример ввода
https://example.com/robots.txt
Пример вывода
Обнаружены 2 потенциально рискованные Disallow-директивы и 1 отсутствующий Sitemap.
FAQ
Robots.txt — текстовый файл в корне сайта, который указывает поисковым ботам, какие страницы сканировать, а какие игнорировать. Это не защита от индексации — используйте meta robots noindex для запрета.
Блокировка CSS/JS-файлов мешает рендерингу. Блокировка /admin/ без исключений для ресурсов. Отсутствие ссылки на Sitemap. Некорректный синтаксис директив.
Улучшите позиции в поиске
SEO-проблемы могут стоить вам трафика. Каскадный линкбилдинг улучшит видимость сайта в поиске.