Половина сайта может быть вне индекса Google — и вы об этом не знаете
Страница вне индекса не участвует в поиске вообще. Разбираем на собственных данных по девяти сайтам, почему страницы выпадают, как отличить проблему обхода от проблемы содержимого и в каком из двух случаев отправка на индексацию не поможет.
Страница вне индекса не участвует в поиске вообще. Не «показывается ниже», не «получает меньше трафика» — её просто нет: по ней не придут ни по одному запросу, сколько бы ссылок вы на неё ни поставили и сколько бы денег в неё ни вложили. При этом почти никто не знает, какая доля собственного сайта находится в этом состоянии, потому что мало кто проверяет сайт целиком.
Разберём, почему страницы выпадают из индекса, как отличить «не обошли» от «обошли и решили не брать» — это принципиально разные проблемы с разным лечением, — и что из этого вообще поддаётся починке.
Насколько это распространено
Мы посмотрели на собственные данные. В нашем разделе индексации накопилось 8 263 адреса с девяти сайтов; по проверенным страницам расклад такой: 4 258 в индексе, 2 783 нет — то есть около 60% на 40%.
Но средняя цифра здесь бесполезна, и это главное наблюдение. Разброс между сайтами оказался огромным.
Честно о том, как это измерено и где границы вывода. Выборка небольшая: пять сайтов с объёмом, на котором цифра что-то значит. Метод косвенный — страницу считаем проиндексированной, если у неё есть показы в Search Console за последние 16 месяцев; страница может быть в индексе и не иметь показов, тогда мы ошибочно посчитаем её выпавшей. Поэтому это не отраслевая статистика, а наблюдение по своей выборке.
Но вывод, который из него следует, от размера выборки не зависит: по чужим бенчмаркам своё число предсказать нельзя. Разница между 28% и 95% — это разница между «три четверти работы не существует для поиска» и «всё в порядке», и узнать, где вы, можно только измерением.
Две принципиально разные причины
Когда страницы нет в индексе, это может означать два совершенно разных состояния, и путать их дорого.
Первое: Google её не обошёл. В отчёте Search Console это статус «Обнаружено — сейчас не индексируется» (Discovered — currently not indexed). Google формулирует причину прямо: страница найдена, но обход отложен, чтобы не перегружать сайт. Это проблема доступности и краулингового бюджета.
Второе: Google её обошёл и решил не брать. Статус «Просканировано — сейчас не индексируется» (Crawled — currently not indexed). Страницу видели, прочитали и не включили в индекс. И вот здесь ключевая деталь, о которой молчат все продавцы услуг индексации:
Google о статусе «Просканировано — сейчас не индексируется»: страница может быть проиндексирована позже, а может и не быть. Повторная отправка на индексацию не требуется.
Google Search Console Help, отчёт «Индексирование страниц»То есть в этом случае повторная подача URL не поможет — ни через инструмент проверки, ни через API, ни через любой платный сервис. Это не техническая заминка, а оценка: содержимое не сочли достаточно ценным, чтобы держать его в индексе. Лечится содержимым, а не отправкой.
Практический вывод, который стоит принять до того, как вы кому-то заплатите: отправка на индексацию помогает от первой проблемы и бессильна против второй. Это относится и к нашему собственному разделу индексации — он ускоряет обход, но не может заставить Google счесть страницу ценной.
Полный разбор причин
| Что показывает Search Console | Что это значит | Что делать |
|---|---|---|
| Обнаружено — сейчас не индексируется | Нашли, но не обошли: Google отложил обход, чтобы не нагружать сайт | Ускорить обход: карта сайта, внутренние ссылки на страницу, внешние ссылки, отправка URL. Здесь отправка реально работает |
| Просканировано — сейчас не индексируется | Обошли и не взяли. Оценка содержимого, а не сбой | Отправка НЕ помогает. Усиливать содержимое, объединять тонкие страницы, убирать шаблонные |
| Дубликат без канонической страницы, выбранной пользователем | Google счёл страницу дублем, канонический адрес вы не указали | Проставить canonical либо сделать содержимое действительно разным |
| Дубликат: Google выбрал не ту каноническую, что вы | Ваш canonical проигнорирован в пользу другой страницы | Сверить обе версии: обычно они слишком похожи, и выбор Google логичен |
| Страница с переадресацией | Адрес редиректит на другой — индексируется цель, а не он | Ничего, если редирект намеренный. Проверить, что цель — та, что нужна |
| Страница с тегом noindex | Прямой запрет индексации в разметке или заголовке | Убрать noindex, если запрет не нужен. Частая находка: остался с этапа разработки |
| Заблокировано в robots.txt | Обход запрещён файлом robots.txt | Снять запрет. Важно: robots.txt запрещает ОБХОД, а не индексацию — для запрета индексации нужен noindex |
| Ошибка 404 / 403 / 401 / 5xx | Страница недоступна для робота | Чинить доступность. Если удалена намеренно — ничего |
| Мягкая ошибка 404 | Страница отдаёт код 200, но выглядит как «ничего не найдено» | Отдавать честный 404 либо наполнить содержимым |
Как проверить свой сайт
Три способа, от самого грубого к самому полному.
site:адрес-страницы в поиске. Нашлась — в индексе, не нашлась — нет. Годится для быстрой проверки конкретного адреса, но не даёт картины по сайту.Что бы вы ни выбрали, смотреть нужно на долю, а не на абсолютное число. «В индексе 1 200 страниц» ничего не говорит, пока неизвестно, сколько их всего.
Что обычно оказывается причиной
По опыту разбора чужих сайтов список подозреваемых довольно короткий.
noindex, оставшийся с разработки, или закрытый в robots.txt раздел, который давно пора открыть. Проверяется за минуту и встречается чаще, чем кажется.Чего делать не стоит
noindex, а он требует, чтобы страницу можно было обойти.Порядок действий
Если начинать с нуля, разумная последовательность такая.
Сначала измерьте долю по сайту целиком — без этого всё остальное гадание. Затем откройте отчёт «Индексирование страниц» и посмотрите, какой статус преобладает: «обнаружено» или «просканировано». Это развилка, определяющая всё дальнейшее.
Если преобладает «обнаружено» — проблема в доступности и обходе. Здесь работают карта сайта, внутренняя перелинковка, внешние ссылки и прямая отправка URL, и результат обычно виден за недели.
Если преобладает «просканировано» — проблема в содержимом, и отправка не поможет. Придётся смотреть, что именно Google не счёл достойным индекса, и решать: усиливать, объединять или убирать.
И только после этого имеет смысл вкладываться в продвижение конкретных страниц. Ссылки на страницу вне индекса — это деньги, потраченные в пустоту.
Собирает страницы из карты сайта и Search Console, проверяет пакетом. Проверка бесплатная и без ограничений по количеству.
Частые вопросы
Как узнать, сколько страниц моего сайта в индексе Google?
Полную картину даёт отчёт «Индексирование страниц» в Search Console — он показывает и количество, и причины по каждой категории. Отдельную страницу можно проверить запросом site:адрес-страницы. Для оценки по всему сайту нужна массовая проверка списка адресов.
Чем отличается «обнаружено» от «просканировано», если страницы нет в индексе?
«Обнаружено — сейчас не индексируется» означает, что Google нашёл страницу, но ещё не обошёл: это вопрос доступности и краулингового бюджета. «Просканировано — сейчас не индексируется» означает, что страницу обошли и решили не включать в индекс: это оценка содержимого.
Поможет ли повторная отправка страницы на индексацию?
Зависит от статуса. При «обнаружено, но не обойдено» отправка ускоряет обход и работает. При «просканировано, но не индексируется» Google прямо указывает, что повторная отправка не требуется, — здесь лечится содержимое, а не подача.
Какая доля страниц в индексе считается нормальной?
Универсальной нормы нет. По нашей выборке из пяти сайтов доля колебалась от 28% до 95% при сопоставимых объёмах, поэтому ориентироваться на чужие цифры бессмысленно — своё значение можно только измерить. При этом 100% и не нужны: служебные страницы, корректные дубли и пагинация в индексе быть не должны.
Почему страница не индексируется, хотя ошибок нет?
Самая частая причина — содержимое сочли недостаточно ценным: тонкие страницы, шаблонные карточки, отличающиеся одним параметром, автоматически сгенерированные архивы. Вторая по частоте — страница не имеет внутренних ссылок и находится на периферии сайта.
Стоит ли закрывать лишние страницы в robots.txt?
Для исключения из индекса — нет. Robots.txt запрещает обход, а не индексацию: закрытая страница может остаться в индексе по внешним ссылкам, но уже без содержимого. Для исключения нужен тег noindex, а чтобы Google его увидел, страницу нужно разрешить обходить.
Источники
Google Search Console Help, отчёт «Индексирование страниц»: перечень статусов, формулировки причин и рекомендации по каждой.
Собственные данные PromoPilot, август 2026: 8 263 адреса с 9 сайтов, из проверенных 4 258 в индексе и 2 783 вне индекса. Проиндексированность определялась по наличию показов в Search Console за 16 месяцев.
