Ссылка noindex, nofollow и robots.txt: как выглядит в коде и что убивает ссылку
Ссылка «noindex, nofollow» в коде — это одна из трёх разных инструкций: атрибут rel="nofollow" у конкретной ссылки просит не передавать по ней вес, мета-тег <meta name="robots" content="noindex, nofollow"> убирает из индекса саму страницу и просит не учитывать все её ссылки, а robots.txt запрещает обходить страницу. Их постоянно путают, и убивают ссылку они по-разному.
Как выглядит noindex и nofollow в коде
Атрибута rel="noindex" у ссылки не существует: у ссылки бывает только rel со значениями nofollow, ugc, sponsored, а noindex относится к странице целиком. Поэтому «ссылка noindex nofollow» на практике — одна из записей ниже.
Мета-тег robots на всю страницу
<meta name="robots" content="noindex, nofollow">Стоит в <head>. noindex — не показывать страницу в поиске, nofollow — не учитывать ссылки этой страницы. Можно ставить по отдельности: content="noindex" или content="nofollow". Вместо robots можно указать конкретного робота, например name="googlebot".
Атрибут одной ссылки
<a href="https://example.com/" rel="nofollow">анкор</a>
<a href="https://example.com/" rel="sponsored">рекламная ссылка</a>
<a href="https://example.com/" rel="ugc nofollow">ссылка из комментария</a>Касается только этой ссылки; страница при этом индексируется как обычно. Несколько значений пишут через пробел.
HTTP-заголовок X-Robots-Tag
X-Robots-Tag: noindex, nofollowТе же правила, что у мета-тега, но в ответе сервера. Нужен для PDF, картинок и других файлов, куда мета-тег не вставить. Увидеть заголовок можно проверкой HTTP-заголовков.
Чем отличаются
| Инструкция | Где стоит | Что делает | Что с вашей ссылкой |
|---|---|---|---|
rel="nofollow" | В самой ссылке | Просит не учитывать ссылку как рекомендацию | Упоминание есть, вес не передаётся |
noindex | В мета-теге страницы или заголовке ответа | Убирает страницу из индекса | Ссылка бесполезна: страницы-донора нет в поиске |
Disallow в robots.txt | В файле на домене | Запрещает обход страницы | Робот не увидит ни страницу, ни ссылку на ней |
rel="ugc" / rel="sponsored" | В ссылке | Помечает пользовательский или рекламный характер | Учитывается как подсказка, вес обычно не передаётся |
rel="nofollow", "ugc" и "sponsored": nofollow — подсказка с 2019 года
10 сентября 2019 года Google в блоге Search Central объявил два новых значения — ugc и sponsored — и то, что все три значения теперь подсказки для ранжирования, а не строгий запрет. Для сканирования и индексации nofollow стал подсказкой с 1 марта 2020 года. Отсюда оговорка в таблице выше: вес по nofollow-ссылке «обычно» не передаётся — Google вправе учесть такую ссылку, но гарантировать этого нельзя.
| Значение | Когда ставить |
|---|---|
sponsored | Реклама, спонсорство, любые оплаченные размещения |
ugc | Ссылки в пользовательском контенте: комментарии, форумы, отзывы |
nofollow | Остальные случаи, когда вы не хотите ручаться за сайт или передавать ему вес |
Платные ссылки, которые передают вес, нарушают правила Google о спаме, поэтому их помечают sponsored или nofollow. Для оценки чужой площадки это значит: ссылка с sponsored или ugc — то же упоминание без гарантированной передачи веса, что и nofollow. Подробнее о весе — в статье о ссылочном весе.
Худшая комбинация: dofollow на noindex-странице
Ровно этот случай встречается на паст-сервисах: ссылка честная, без nofollow, а сама страница закрыта от индексации. В нашем пуле есть такие площадки, и их доля публикаций в индексе по замерам равна нулю — поэтому они получают низкий приоритет или выключаются вовсе. Как устроен отбор — в статье «Как мы отбираем площадки».
rel в исходном коде часто врёт: одна площадка снимает nofollow скриптом уже в браузере, другая, наоборот, дописывает его. Смотреть нужно в инструментах разработчика, а не в «Исходном коде страницы» — подробности в статье о передаче веса.Тег <noindex> в Яндексе: что это
<noindex>…</noindex> — нестандартный тег Яндекса, которым закрывают от индексирования фрагмент текста на странице: служебный блок, повторяющуюся врезку, цитату. Чтобы HTML оставался валидным, его пишут в виде комментариев:
<!--noindex-->текст, который Яндекс не должен индексировать<!--/noindex-->- Это не атрибут ссылки. Для ссылок Яндекс, как и Google, использует
rel="nofollow". Старая практика «обернуть ссылку в noindex» не заменяет nofollow. - Google этот тег не поддерживает и индексирует текст внутри как обычный.
- На всю страницу он не действует — для этого есть мета-тег
robotsсnoindex.
Что ставить: таблица сценариев
| Задача | Что использовать |
|---|---|
| Платная или партнёрская ссылка | rel="sponsored" (или nofollow) |
| Ссылки в комментариях и на форуме | rel="ugc", можно вместе с nofollow |
| Корзина, личный кабинет, результаты поиска по сайту | meta robots noindex; страница должна быть открыта в robots.txt, иначе робот не увидит тег |
| PDF или картинка, которые не нужны в поиске | X-Robots-Tag: noindex |
| Дубль страницы с параметрами | Канонический адрес, а не noindex — см. канонический адрес |
| Раздел, который не нужно обходить вообще | Disallow в robots.txt (страница может попасть в индекс по внешним ссылкам без описания) |
| Запретить ИИ-ботам собирать контент | Правила для их user-agent в robots.txt — см. как закрыть сайт от ИИ-ботов |
| Продвигаемая страница | Ничего из перечисленного: индексируемая, открыта в robots.txt, канонический адрес на себя |
Что из этого проверять у себя на сайте
- Продвигаемая страница не должна содержать
noindex— иначе ссылки ведут в никуда. - Она не должна быть закрыта в
robots.txt: закрытую страницу робот не обойдёт, даже зная адрес. - Канонический адрес должен указывать на неё саму, а не на другую страницу.
- Проверить всё сразу можно проверкой robots.txt, анализом мета-тегов и чекером индексации.
Как проверить ссылку на nofollow, а страницу на noindex
- Анализ ссылок страницы выводит все ссылки с анкорами и пометкой dofollow или nofollow, плюс соотношение внутренних и внешних. Ограничение: пометку nofollow инструмент ставит, только если в
relесть словоnofollow; ссылку только сugcилиsponsoredон покажет как dofollow — такие смотрите в коде. Он читает HTML без выполнения JavaScript, поэтому правки атрибута скриптом не увидит. - Проверка индексации страницы показывает meta robots, заголовок X-Robots-Tag, canonical и запрет в robots.txt — всё, что может убрать страницу-донора из поиска.
- Инструменты разработчика браузера (вкладка Elements) — для отрисованной страницы, если площадка меняет
relскриптом. - Search Console → «Проверка URL» — для своих страниц: видно, разрешено ли индексирование и не мешает ли robots.txt.
Разбор чужой страницы со ссылками подробно описан в статье «Анализ ссылок страницы».
Нужны ли nofollow-ссылки вообще
Да, как часть естественного профиля: ссылочная масса, целиком состоящая из dofollow, выглядит менее правдоподобно, чем смешанная. Но платить за них как за передающие вес не стоит — поэтому мы и держим этот флаг по каждой площадке отдельно.