Аудит: проблемы индексации и что они значат
Категория «Индексация и сканирование» отвечает на единственный вопрос: попадёт ли страница в поиск. Здесь шесть из двенадцати ошибок аудита — если страница недоступна или закрыта, остальные замечания по ней не имеют смысла. Сюда же относятся проверки robots.txt и доступа для ИИ-поисковиков.
Ошибки: чинить первыми
| Код в отчёте | Что произошло | Что делать |
|---|---|---|
| Страница отдаёт 4xx | Адрес не существует, но на него ведут ссылки | Вернуть страницу или поставить 301 на актуальный адрес и убрать ссылки |
| Ошибка сервера 5xx | Сервер не смог отдать страницу | Смотреть логи: обычно это база данных, лимиты или ошибка в коде |
| Страница недоступна | Таймаут или обрыв соединения | Проверить стабильность хостинга и время ответа |
| Петля редиректов | Адрес переадресует сам на себя по кругу | Разорвать цепочку: обычно конфликт правил www/https и CMS |
| Несколько canonical | На странице два и более канонических адреса | Оставить один — поиск иначе выберет сам |
| Контент сайта рисует JavaScript | В исходном HTML почти нет текста и ссылок — всё появляется только после выполнения скриптов | Включить серверный рендеринг (SSR) или пререндеринг, ссылки делать обычными тегами <a href> |
Предупреждения
- Страница закрыта noindex — иногда намеренно, но чаще это забытый запрет после разработки. Проверьте, точно ли эта страница не нужна в поиске.
- Закрыто в robots.txt — робот не обойдёт страницу. Помните: это не то же самое, что удаление из индекса, см. разбор трёх инструкций.
- Цепочка редиректов — больше одного шага: теряется скорость и часть веса.
- Meta refresh — устаревший способ переадресации, поиск понимает его хуже обычного редиректа.
- Hreflang без self-ссылки — разметка языковых версий не работает, см. проверку hreflang.
- robots.txt отдаёт HTML-страницу — по адресу /robots.txt сервер возвращает страницу сайта вместо правил. Для поисковиков robots.txt фактически нет, и карта сайта из него не найдётся. Частая история у сайтов на JavaScript, которые на любой адрес отвечают главной.
- ИИ-поисковики закрыты в robots.txt — боты ChatGPT, Claude, Perplexity или Google AI не могут читать сайт, значит, не процитируют его в ответах. В подробностях проблемы перечислены закрытые боты.
Замечания
Нет canonical и canonical на другой адрес — второе особенно коварно: страница исключается из индекса в пользу указанной. Внутренний редирект — ссылки внутри сайта ведут на адрес, который переадресует; лучше ссылаться сразу на конечный. Доступ ограничен — защита хостинга заблокировала наш краулер: страница, скорее всего, работает, но проверьте вручную. Sitemap.xml не найден — см. проверку карты сайта. Нет robots.txt — по адресу /robots.txt ничего нет, поисковики не видят правил обхода и ссылки на карту сайта; создайте файл с правилами и строкой Sitemap: с адресом карты.
Сайты на JavaScript
Если в коде главной почти нет текста и ссылок, аудит открывает страницы в настоящем браузере и проверяет то, что видит посетитель, а над отчётом появляется плашка «Контент сайта рисует JavaScript — мы проверили его в браузере». Список проблем в этом случае полный, но ошибка «Контент сайта рисует JavaScript» остаётся: Google отрисовывает такие страницы с задержкой и не всегда, а ИИ-боты обычно видят пустую страницу. Если проверить в браузере не удалось, плашка будет без слов о браузере, а найденных страниц — мало: так сайт видят и поисковики без рендеринга.
Доступ для ИИ-поисковиков и llms.txt
Аудит читает robots.txt и проверяет, открыт ли сайт ботам GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended и Applebot-Extended. Если хотя бы один закрыт, появляется предупреждение «ИИ-поисковики закрыты в robots.txt». Закрывать ботов или нет — ваше решение, но закрытый бот сайт не процитирует.
Заодно проверяется llms.txt — краткая карта сайта для ИИ-ассистентов в формате Markdown: что за компания, какие разделы и страницы главные. Если файла нет, появляется замечание «Нет llms.txt»; в отчёте оно стоит в категории «Контент». Это замечание, а не ошибка: файл полезен, но не обязателен. Как это связано с цитированием в ответах ИИ — в разделе «Видимость в ИИ-поиске» статьи как читать отчёт аудита.
Как проверить конкретную страницу
Аудит показывает картину по сайту, а для одной страницы быстрее чекер индексации и заголовки ответа — запрет может отдаваться сервером, и в коде страницы его не видно.
