Перевірка індексації сторінки в Google

Як перевірити, чи проіндексована сторінка в Google

Інструмент робить дві речі. Спершу надсилає в Google справжній пошуковий запит site: з адресою сторінки (протокол, www. і кінцевий слеш відкидаються) і дивиться, чи повернулася вона у видачі. Якщо повернувся хоча б один запис — сторінка в індексі. Потім він завантажує саму сторінку й перевіряє шість чинників, які найчастіше заважають індексації: код відповіді, meta robots, заголовок X-Robots-Tag, canonical, правила robots.txt і наявність адреси в sitemap.xml.

Підсумкова оцінка стартує зі 100: сторінка поза індексом знімає 40 балів, кожна інша помилка — 25, кожне попередження — 10. Оцінка від 80 — добра індексованість, 60–79 — є зауваження, 40–59 — проблеми, нижче 40 — критично. Якщо живий запит у Google тимчасово недоступний, ви побачите лише технічні чинники з окремою позначкою.

Безкоштовно: 3 перевірки на добу без реєстрації, 5 — з акаунтом, 20 — з Pro. Ліміт пов’язаний з тим, що кожна перевірка — реальний запит у Google через платний проксі.

Як читати результат: що робити в кожному випадку

Де швидка перевірка може помилятися

Ми прямо пишемо про обмеження, щоб ви не лагодили те, що не зламане:

• Оператор site: — не офіційний звіт. Свіжа сторінка може вже бути в індексі, але ще не віддаватися за site:, і навпаки. Остаточна відповідь — перевірка URL у Google Search Console.
• Варіанти адреси. Якщо Google проіндексував версію зі слешем, з параметрами чи іншу сторінку за canonical, запит за точною адресою може нічого не повернути.
• robots.txt розбирається спрощено: враховуються групи * і Googlebot та префікси Disallow, але не правила Allow і не символи * та $. Якщо файл складний, перевірте адресу в перевірці robots.txt.
• Meta robots читається з тегу name="robots"; окремий тег name="googlebot" не враховується.
• Sitemap шукається тільки за адресою /sitemap.xml, вкладені карти з індексу не відкриваються. Позначка «не знайдено в sitemap» на сайті з індексом карт може бути хибною — відкрийте його в аналізі sitemap.

Статуси перевірки URL у Search Console

Коли наша перевірка каже «немає в індексі», відкрийте ту саму адресу в «Перевірці URL» Search Console: статус там точніше пояснює, на якому кроці зупинився Google.

Як прибрати noindex і виправити canonical

WordPress

Перевірте «Налаштування → Читання → Попросити пошукові системи не індексувати сайт» — цю позначку часто забувають зняти після розробки. У Yoast SEO заборона для окремого запису задається на вкладці «Додатково» блоку Yoast, для цілих типів записів — у «Налаштування → Типи вмісту».

X-Robots-Tag у конфігу сервера

# nginx — знайдіть і видаліть або звузьте правило
add_header X-Robots-Tag "noindex, nofollow";

# Apache (.htaccess)
Header set X-Robots-Tag "noindex"

Такі рядки нерідко ставлять на весь віртуальний хост тестового сервера й переносять на робочий разом із конфігом.

Canonical

<link rel="canonical" href="https://example.com/catalog/shoes/">

Canonical має вказувати на ту саму сторінку в її основному вигляді: той самий протокол, хост і слеш. Поширена помилка — шаблон, що ставить canonical на головну або на першу сторінку пагінації для всіх сторінок розділу.

Як пришвидшити індексацію сторінки

1. Поставте на сторінку посилання з уже проіндексованих сторінок сайту — з меню, розділу, схожих матеріалів.
2. Додайте адресу в sitemap.xml з актуальним lastmod.
3. У Search Console відкрийте «Перевірка URL» і натисніть «Надіслати запит на індексування». Кількість таких запитів на добу обмежена, витрачайте їх на важливі сторінки.
4. Отримайте хоча б одне зовнішнє посилання зі сторінки, яку робот відвідує часто.

Скільки чекати: за словами самого Google, сканування нової сторінки може тривати від кількох днів до кількох тижнів, і повторні запити на індексування не пришвидшують чергу. Перевіряйте результат не частіше ніж раз на кілька днів. Якщо сторінка так і не з’явилася за місяць за зелених технічних чинників, питання майже напевно в посиланнях на неї та в унікальності тексту, а не в налаштуваннях.

Якщо сторінка поза індексом і сама його не забороняє, інструмент запропонує платне надсилання на індексацію з поверненням грошей, якщо сторінка не потрапить до індексу за вказаний строк. За noindex чи блокування в robots.txt такої пропозиції не буде — платити в цьому разі марно.

Одна сторінка, посилання чи весь сайт

Інструмент перевіряє будь-яку публічну адресу, тож підходить і для перевірки індексації посилань: вставте адресу сторінки, де розміщено ваше посилання, — по одній адресі за перевірку, масової перевірки тут немає. Щоб дізнатися, скільки сторінок усього домену в індексі й який це відсоток від sitemap, скористайтеся перевіркою індексації сайту. Докладний розбір причин, через які сторінки випадають з індексу, — у статті про перевірку індексації сторінки.