Проверка индексации страницы в Google

Как проверить, проиндексирована ли страница в Google

Инструмент делает две вещи. Сначала отправляет в Google настоящий поисковый запрос site: с адресом страницы (протокол и www. отбрасываются, завершающий слеш тоже) и смотрит, вернулась ли она в выдаче. Если вернулась хотя бы одна запись — страница в индексе. Затем он загружает саму страницу и проверяет шесть факторов, которые чаще всего мешают индексации: код ответа, meta robots, заголовок X-Robots-Tag, canonical, правила robots.txt и наличие адреса в sitemap.xml.

Итоговая оценка начинается со 100: страница вне индекса снимает 40 баллов, каждая другая ошибка — 25, каждое предупреждение — 10. Оценка от 80 — хорошая индексируемость, 60–79 — есть замечания, 40–59 — проблемы, ниже 40 — критично. Если живой запрос в Google временно недоступен, вы увидите только технические факторы, и об этом будет отдельная пометка.

Бесплатно: 3 проверки в сутки без регистрации, 5 — с аккаунтом, 20 — с Pro. Лимит связан с тем, что каждая проверка — реальный запрос в Google через платный прокси.

Как читать результат: что делать в каждом случае

Где быстрая проверка может ошибаться

Мы прямо пишем об ограничениях, чтобы вы не чинили то, что не сломано:

• Оператор site: — не официальный отчёт. Свежая страница может уже быть в индексе, но ещё не отдаваться по site:, и наоборот. Окончательный ответ — проверка URL в Google Search Console.
• Варианты адреса. Если Google проиндексировал версию со слешем, с параметрами или другую страницу по canonical, запрос по точному адресу может ничего не вернуть.
• robots.txt разбирается упрощённо: учитываются группы * и Googlebot и префиксы Disallow, но не правила Allow и не символы * и $. При сложном файле перепроверьте адрес в проверке robots.txt.
• Meta robots читается из тега name="robots"; отдельный тег name="googlebot" не учитывается.
• Sitemap ищется только по адресу /sitemap.xml, вложенные карты из индекса не открываются. Пометка «не найден в sitemap» у сайта с индексом карт может быть ложной — откройте его в анализе sitemap.

Статусы проверки URL в Search Console

Когда наша проверка говорит «нет в индексе», откройте тот же адрес в «Проверке URL» Search Console: статус там точнее объясняет, на каком шаге остановился Google.

Как убрать noindex и исправить canonical

WordPress

Проверьте «Настройки → Чтение → Попросить поисковые системы не индексировать сайт» — галочку часто забывают снять после разработки. В Yoast SEO запрет для отдельной записи задаётся во вкладке «Дополнительно» блока Yoast, для целых типов записей — в «Настройки → Типы контента».

X-Robots-Tag в конфиге сервера

# nginx — найдите и удалите или сузьте правило
add_header X-Robots-Tag "noindex, nofollow";

# Apache (.htaccess)
Header set X-Robots-Tag "noindex"

Такие строки нередко ставят на весь виртуальный хост тестового сервера и переносят на рабочий вместе с конфигом.

Canonical

<link rel="canonical" href="https://example.com/catalog/shoes/">

Canonical должен указывать на ту же страницу в её основном виде: тот же протокол, хост и слеш. Частая ошибка — шаблон, который ставит canonical на главную или на первую страницу пагинации для всех страниц раздела.

Как ускорить индексацию страницы

1. Поставьте на страницу ссылки с уже проиндексированных страниц сайта — из меню, раздела, похожих материалов.
2. Добавьте адрес в sitemap.xml с актуальным lastmod.
3. В Search Console откройте «Проверка URL» и нажмите «Запросить индексирование». Число таких запросов в сутки ограничено, тратьте их на важные страницы.
4. Получите хотя бы одну внешнюю ссылку со страницы, которую робот посещает часто.

Сколько ждать: по словам самого Google, сканирование новой страницы может занять от нескольких дней до нескольких недель, и повторные запросы индексации не ускоряют очередь. Проверяйте результат не чаще раза в несколько дней. Если страница так и не появилась за месяц при зелёных технических факторах, вопрос почти наверняка в ссылках на неё и в уникальности текста, а не в настройках.

Если страница вне индекса и сама его не запрещает, инструмент предложит платную отправку на индексацию с возвратом денег, если страница не попадёт в индекс за указанный срок. При noindex или блокировке в robots.txt такого предложения не будет — платить в этом случае бессмысленно.

Одна страница, ссылка или весь сайт

Инструмент проверяет любой публичный URL, поэтому подходит и для проверки индексации ссылок: вставьте адрес страницы, где размещена ваша ссылка, — по одному адресу за проверку, массовой проверки здесь нет. Чтобы узнать, сколько страниц всего домена в индексе и какой это процент от sitemap, используйте проверку индексации сайта. Подробный разбор причин, по которым страницы выпадают из индекса, — в статье о проверке индексации страницы.