noindex, nofollow и robots.txt: что убивает ссылку
Три разные вещи, которые постоянно путают: nofollow запрещает передавать вес по ссылке, noindex убирает из индекса саму страницу, а robots.txt запрещает её обходить. Для ссылочного продвижения важны все три, и убивают ссылку они по-разному.
Чем отличаются
| Инструкция | Где стоит | Что делает | Что с вашей ссылкой |
|---|---|---|---|
rel="nofollow" | В самой ссылке | Просит не учитывать ссылку как рекомендацию | Упоминание есть, вес не передаётся |
noindex | В мета-теге страницы или заголовке ответа | Убирает страницу из индекса | Ссылка бесполезна: страницы-донора нет в поиске |
Disallow в robots.txt | В файле на домене | Запрещает обход страницы | Робот не увидит ни страницу, ни ссылку на ней |
rel="ugc" / rel="sponsored" | В ссылке | Помечает пользовательский или рекламный характер | Учитывается как подсказка, вес обычно не передаётся |
Худшая комбинация: dofollow на noindex-странице
Ровно этот случай встречается на паст-сервисах: ссылка честная, без nofollow, а сама страница закрыта от индексации. В нашем пуле есть такие площадки, и их доля публикаций в индексе по замерам равна нулю — поэтому они получают низкий приоритет или выключаются вовсе. Как устроен отбор — в статье «Как мы отбираем площадки».
rel в исходном коде часто врёт: одна площадка снимает nofollow скриптом уже в браузере, другая, наоборот, дописывает его. Смотреть нужно в инструментах разработчика, а не в «Исходном коде страницы» — подробности в статье о передаче веса.Что из этого проверять у себя на сайте
- Продвигаемая страница не должна содержать
noindex— иначе ссылки ведут в никуда. - Она не должна быть закрыта в
robots.txt: закрытую страницу робот не обойдёт, даже зная адрес. - Канонический адрес должен указывать на неё саму, а не на другую страницу.
- Проверить всё сразу можно проверкой robots.txt, анализом мета-тегов и чекером индексации.
Нужны ли nofollow-ссылки вообще
Да, как часть естественного профиля: ссылочная масса, целиком состоящая из dofollow, выглядит менее правдоподобно, чем смешанная. Но платить за них как за передающие вес не стоит — поэтому мы и держим этот флаг по каждой площадке отдельно.