Аудит: проблеми індексації та що вони значать
Категорія «Індексація та сканування» відповідає на єдине питання: потрапить чи сторінка в пошук. Тут шість з дванадцяти помилок аудиту — якщо сторінка недоступна або закрита, інші зауваження по ній не мають сенсу. Сюди ж відносяться перевірки robots.txt та доступу для ІІ-пошуковиків.
Помилки: виправляти першими
| Код у звіті | Що сталося | Що робити |
|---|---|---|
| Сторінка віддає 4xx | Адреса не існує, але на неї ведуть посилання | Повернути сторінку або поставити 301 на актуальну адресу та прибрати посилання |
| Помилка сервера 5xx | Сервер не зміг віддати сторінку | Дивитися логи: зазвичай це база даних, ліміти або помилка в коді |
| Сторінка недоступна | Таймаут або обрив з'єднання | Перевірити стабільність хостингу та час відповіді |
| Петля редиректів | Адреса переадресує сам на себе по колу | Розірвати ланцюг: зазвичай конфлікт правил www/https та CMS |
| Кілька canonical | На сторінці два і більше канонічних адреси | Залишити один — пошук інакше вибере сам |
| Контент сайту малює JavaScript | В початковому HTML майже немає тексту та посилань — все з'являється тільки після виконання скриптів | Включити серверний рендеринг (SSR) або пререндеринг, посилання робити звичайними тегами <a href> |
Попередження
- Сторінка закрита noindex — іноді навмисно, але частіше це забутий заборона після розробки. Перевірте, точно чи ця сторінка не потрібна в пошуку.
- Закрито в robots.txt — робот не обійде сторінку. Пам'ятайте: це не те ж саме, що видалення з індексу, см. розбір трьох інструкцій.
- Цепочка редиректів — більше одного кроку: втрачається швидкість і частина ваги.
- Meta refresh — застарілий спосіб переадресації, пошук розуміє його гірше звичайного редиректу.
- Hreflang без self-посилання — розмітка мовних версій не працює, см. перевірку hreflang.
- robots.txt віддає HTML-сторінку — за адресою /robots.txt сервер повертає сторінку сайту замість правил. Для пошуковиків robots.txt фактично немає, і карта сайту з нього не знайдеться. Часта історія у сайтів на JavaScript, які на будь-яку адресу відповідають головною.
- ІІ-пошуковики закриті в robots.txt — боти ChatGPT, Claude, Perplexity або Google AI не можуть читати сайт, значить, не процитують його в відповідях. У подробицях проблеми перераховані закриті боти.
Зауваження
Немає canonical та canonical на іншу адресу — друге особливо підступно: сторінка виключається з індексу на користь вказаної. Внутрішній редирект — посилання всередині сайту ведуть на адресу, яка переадресує; краще посилатися відразу на кінцевий. Доступ обмежений — захист хостингу заблокувала наш краулер: сторінка, швидше за все, працює, але перевірте вручну. Sitemap.xml не знайдено — см. перевірку карти сайту. Немає robots.txt — за адресою /robots.txt нічого немає, пошуковики не бачать правил обходу та посилання на карту сайту; створіть файл з правилами та рядком Sitemap: з адресою карти.
Сайти на JavaScript
Якщо в коді головної майже немає тексту та посилань, аудит відкриває сторінки в справжньому браузері та перевіряє те, що бачить відвідувач, а над звітом з'являється плашка «Контент сайту малює JavaScript — ми перевірили його в браузері». Список проблем у цьому випадку повний, але помилка «Контент сайту малює JavaScript» залишається: Google відрисовує такі сторінки з затримкою і не завжди, а ІІ-боти зазвичай бачать порожню сторінку. Якщо перевірити в браузері не вдалося, плашка буде без слів про браузер, а знайдених сторінок — мало: так сайт бачать і пошуковики без рендерингу.
Доступ для ІІ-пошуковиків та llms.txt
Аудит читає robots.txt та перевіряє, відкритий чи сайт ботам GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended та Applebot-Extended. Якщо хоча б один закритий, з'являється попередження «ІІ-пошуковики закриті в robots.txt». Закривати ботів чи ні — ваше рішення, але закритий бот сайт не процитує.
Заодно перевіряється llms.txt — коротка карта сайту для ІІ-асистентів у форматі Markdown: що за компанія, які розділи та сторінки головні. Якщо файлу немає, з'являється зауваження «Немає llms.txt»; у звіті воно стоїть у категорії «Контент». Це зауваження, а не помилка: файл корисний, але не обов'язковий. Як це пов'язано з цитуванням у відповідях ІІ — у розділі «Видимість в ІІ-пошуку» статті як читати звіт аудиту.
Як перевірити конкретну сторінку
Аудит показує картину по сайту, а для однієї сторінки швидше чекер індексації та заголовки відповіді — заборона може віддаватися сервером, і в коді сторінки його не видно.