Проверка индексации сайта

Проверка индексации сайта онлайн: откуда берутся цифры

Инструмент считает три показателя. Страниц в индексе — оценка, которую Google показывает по запросу site:домен: мы отправляем настоящий запрос через прокси, отбрасываем www. и путь. Учтите, что site:example.com включает и поддомены. URL в sitemap.xml — число адресов в файле /sitemap.xml в корне сайта; если это индекс карт, открываются до восьми вложенных карт, и их адреса суммируются. Покрытие — отношение первого числа ко второму, не больше 100%.

Адрес можно вводить в любом виде — с протоколом, www или путём к странице: инструмент всё равно проверит домен целиком. Чтобы видеть динамику, записывайте три числа раз в месяц в одну таблицу. Рост числа в индексе после чистки sitemap — знак, что работа дала результат. Резкое падение вдвое и больше за короткий срок — повод сразу проверить robots.txt и noindex в шаблонах: чаще всего это выкладка новой версии сайта с тестовыми настройками.

Проверяется только Google — для «индексации в поисковиках» вообще смотрите ещё Bing Webmaster Tools. Бесплатно: 3 проверки в сутки без регистрации, 5 с аккаунтом, 20 с Pro.

Почему число в индексе не совпадает с sitemap

Расхождение есть почти всегда, и не каждое — проблема:

• Оценка, а не перечень. Цифра site: приблизительная и может меняться от запроса к запросу на десятки процентов. Если Google не вернул оценку, берётся число результатов первой страницы, и итог занижается. Сравнивайте порядок величин, а не точные числа.
• В индексе больше, чем в карте. Поддомены, страницы фильтров, теги, пагинация и старые адреса попадают в site:, но не в sitemap. Покрытие под 100% при этом может скрывать мусор в индексе.
• Большая карта посчитана не целиком. Если в индексе карт больше восьми файлов, учитываются первые восемь — знаменатель занижен, покрытие завышено.
• Карта лежит по другому адресу. Yoast SEO отдаёт /sitemap_index.xml, ядро WordPress — /wp-sitemap.xml. Инструмент смотрит только /sitemap.xml и в этом случае напишет, что sitemap не найден.
• Мусор в самой карте. Адреса с редиректами, 404, noindex или canonical на другую страницу Google не проиндексирует никогда — они честно занижают покрытие. Проверить состав карты поможет анализ sitemap.

Как найти раздел, который не индексируется

Инструмент считает домен целиком. Когда покрытие низкое, следующий шаг — понять, какой раздел проседает. Это можно сделать вручную в Google теми же операторами:

• site:example.com/blog/ — сколько страниц в индексе у одного раздела. Сравните с числом статей в CMS.
• site:example.com -site:www.example.com — отсекает www и помогает увидеть, какие поддомены попали в выдачу.
• site:example.com inurl:filter или inurl:? — проверка, не забивают ли индекс страницы фильтров и параметров.
• site:example.com intitle:"Страница 2" — поиск проиндексированной пагинации.

Цифры по разделам такие же приблизительные, как и по домену, но разница между «в CMS 400 товаров — в индексе около 40» видна сразу. Найденный раздел дальше разбирайте по отдельным адресам.

Точные цифры — в отчёте «Страницы» Search Console

Наша проверка индексации сайта даёт быструю оценку без доступа к аккаунту, в том числе для чужого сайта. Для своего откройте Search Console → «Индексирование» → «Страницы». Отфильтруйте отчёт по своему sitemap: так видно покрытие именно тех адресов, которые вы считаете важными. Ниже — блок «Почему эти страницы не индексируются»: работайте с причинами по убыванию числа страниц.

Типичные провалы покрытия по типам сайтов

• Интернет-магазин: тысячи вариантов товаров и страниц фильтров в карте. Оставьте в sitemap категории и основные карточки, фильтрам дайте canonical на категорию.
• Блог: теги и архивы по датам дублируют рубрики. Закройте их noindex и уберите из карты.
• Многоязычный сайт: версии на разных языках без hreflang Google может принять за копии. Каждая версия должна ссылаться на остальные.
• Новый сайт: низкое покрытие в первые недели — норма. Без внешних ссылок робот приходит редко, и очередь на сканирование длинная.

Как поднять покрытие индексом

1. Почистите sitemap: только адреса с кодом 200, без noindex, с canonical на себя.
2. Свяжите разделы ссылками: страница, до которой три-четыре клика от главной, индексируется хуже.
3. Объедините тонкие страницы с похожим текстом в одну сильную.
4. Получите внешние ссылки на ключевые разделы — по ним робот находит и чаще посещает сайт.
5. Повторите проверку через 3–4 недели и сравните покрытие.

Если покрытие ниже 100%, инструмент оценит число страниц вне индекса как разницу «sitemap минус индекс» и предложит платную отправку на индексацию с возвратом за непроиндексированные страницы. Как работает очередь, описано в статье об индексации страниц сайта.

От всего сайта — к конкретным страницам

Эта проверка отвечает на вопрос «сколько», но не «какие». Чтобы узнать, есть ли в индексе конкретный адрес и что ему мешает, используйте проверку индексации страницы. Чтобы найти все страницы с noindex, неверным canonical и редиректами за один проход, нужен краулер — технический аудит SEO Audit обходит сайт целиком, первые 100 страниц бесплатно. Как читать его находки по индексации, разобрано в статье о проблемах индексации в аудите.