Посилання noindex, nofollow і robots.txt: як виглядає в коді та що вбиває посилання
Посилання «noindex, nofollow» у коді — це одна з трьох різних інструкцій: атрибут rel="nofollow" у конкретного посилання просить не передавати ним вагу, мета-тег <meta name="robots" content="noindex, nofollow"> прибирає з індексу саму сторінку й просить не враховувати всі її посилання, а robots.txt забороняє обходити сторінку. Їх постійно плутають, і вбивають посилання вони по-різному.
Як виглядає noindex і nofollow у коді
Атрибута rel="noindex" у посилання не існує: посилання має лише rel зі значеннями nofollow, ugc, sponsored, а noindex стосується сторінки цілком. Тож «посилання noindex nofollow» на практиці — один із записів нижче.
Мета-тег robots на всю сторінку
<meta name="robots" content="noindex, nofollow">Стоїть у <head>. noindex — не показувати сторінку в пошуку, nofollow — не враховувати посилання цієї сторінки. Можна ставити окремо: content="noindex" або content="nofollow". Замість robots можна вказати конкретного робота, наприклад name="googlebot".
Атрибут одного посилання
<a href="https://example.com/" rel="nofollow">анкор</a>
<a href="https://example.com/" rel="sponsored">рекламне посилання</a>
<a href="https://example.com/" rel="ugc nofollow">посилання з коментаря</a>Стосується лише цього посилання; сторінка при цьому індексується як звичайно. Кілька значень пишуть через пробіл.
HTTP-заголовок X-Robots-Tag
X-Robots-Tag: noindex, nofollowТі самі правила, що й у мета-тегу, але у відповіді сервера. Потрібен для PDF, зображень та інших файлів, куди мета-тег не вставити. Побачити заголовок можна перевіркою HTTP-заголовків.
Чим відрізняються
| Інструкція | Де стоїть | Що робить | Що з вашою посиланням |
|---|---|---|---|
rel="nofollow" | В самій посиланні | Просить не враховувати посилання як рекомендацію | Згадування є, вага не передається |
noindex | В мета-тегу сторінки або заголовку відповіді | Прибирає сторінку з індексу | Посилання безглузда: сторінки-донори немає в пошуку |
Disallow в robots.txt | В файлі на домені | Забороняє обхід сторінки | Робот не побачить ні сторінку, ні посилання на ній |
rel="ugc" / rel="sponsored" | В посиланні | Позначає користувацький або рекламний характер | Враховується як підказка, вага зазвичай не передається |
rel="nofollow", "ugc" і "sponsored": nofollow — підказка з 2019 року
10 вересня 2019 року Google у блозі Search Central оголосив два нові значення — ugc і sponsored — і те, що всі три значення тепер підказки для ранжування, а не сувора заборона. Для сканування та індексації nofollow став підказкою з 1 березня 2020 року. Звідси застереження в таблиці вище: вага за nofollow-посиланням «зазвичай» не передається — Google може врахувати таке посилання, але гарантувати цього не можна.
| Значення | Коли ставити |
|---|---|
sponsored | Реклама, спонсорство, будь-які оплачені розміщення |
ugc | Посилання в користувацькому вмісті: коментарі, форуми, відгуки |
nofollow | Інші випадки, коли ви не хочете ручатися за сайт або передавати йому вагу |
Платні посилання, що передають вагу, порушують правила Google щодо спаму, тому їх позначають sponsored або nofollow. Для оцінки чужого майданчика це означає: посилання з sponsored чи ugc — така сама згадка без гарантованої передачі ваги, як і nofollow. Докладніше — у статті про посилальну вагу.
Найгірша комбінація: dofollow на noindex-сторінці
Рівно цей випадок зустрічається на паст-сервісах: посилання чесна, без nofollow, а сама сторінка закрита від індексації. В нашому пулі є такі майданчики, і їх частка публікацій в індексі за вимірами дорівнює нулю — тому вони отримують низький пріоритет або вимикаються зовсім. Як влаштований відбір — в статті «Як ми відбираємо майданчики».
rel в вихідному коді часто брешуть: одна майданчик знімає nofollow скриптом вже в браузері, інша, навпаки, дописує його. Дивитися потрібно в інструментах розробника, а не в «Вихідному коді сторінки» — подробиці в статті про передачу ваги.Тег <noindex>: що це і чи він потрібен
<noindex>…</noindex> — нестандартний тег Яндекса, яким закривали від індексування фрагмент тексту на сторінці. Щоб HTML лишався валідним, його пишуть у вигляді коментарів:
<!--noindex-->текст, який Яндекс не має індексувати<!--/noindex-->- Це не атрибут посилання. Для посилань використовується
rel="nofollow"; «обгортання посилання в noindex» його не замінює. - Google цей тег не підтримує й індексує текст усередині як звичайний.
- Для сайту, орієнтованого на Google, він не потрібен: для всієї сторінки є мета-тег
robotsзnoindex.
Що ставити: таблиця сценаріїв
| Задача | Що використати |
|---|---|
| Платне або партнерське посилання | rel="sponsored" (або nofollow) |
| Посилання в коментарях і на форумі | rel="ugc", можна разом із nofollow |
| Кошик, особистий кабінет, результати пошуку по сайту | meta robots noindex; сторінка має бути відкрита в robots.txt, інакше робот не побачить тег |
| PDF чи зображення, які не потрібні в пошуку | X-Robots-Tag: noindex |
| Дубль сторінки з параметрами | Канонічна адреса, а не noindex — див. канонічна адреса |
| Розділ, який не треба обходити взагалі | Disallow у robots.txt (сторінка все одно може потрапити в індекс за зовнішніми посиланнями без опису) |
| Заборонити ШІ-ботам збирати контент | Правила для їхніх user-agent у robots.txt — див. як закрити сайт від ШІ-ботів |
| Сторінка, яку просуваєте | Нічого з переліченого: індексована, відкрита в robots.txt, канонічна адреса на себе |
Що з цього перевіряти у себе на сайті
- Просувається сторінка не повинна містити
noindex— інакше посилання ведуть в нікуди. - Вона не повинна бути закрита в
robots.txt: закриту сторінку робот не обійде, навіть знаючи адресу. - Канонічна адреса повинна вказувати на неї саму, а не на іншу сторінку.
- Перевірити все одразу можна перевіркою robots.txt, аналізом мета-тегів і чекером індексації.
Як перевірити посилання на nofollow, а сторінку на noindex
- Аналіз посилань сторінки виводить усі посилання з анкорами й позначкою dofollow чи nofollow. Обмеження: позначку nofollow інструмент ставить, лише якщо в
relє словоnofollow; посилання лише зugcчиsponsoredвін покаже як dofollow — такі дивіться в коді. Він читає HTML без виконання JavaScript, тож зміни атрибута скриптом не побачить. - Перевірка індексації сторінки показує meta robots, заголовок X-Robots-Tag, canonical і заборону в robots.txt — усе, що може прибрати сторінку-донора з пошуку.
- Інструменти розробника браузера (вкладка Elements) — для відрендереної сторінки, якщо майданчик змінює
relскриптом. - Search Console → «Перевірка URL» — для своїх сторінок: видно, чи дозволено індексування й чи не заважає robots.txt.
Розбір чужої сторінки з посиланнями докладно описано в статті «Аналіз посилань сторінки».
Чи потрібні nofollow-посилання взагалі
Так, як частина природного профілю: посилальна маса, цілком складається з dofollow, виглядає менш правдоподібно, ніж змішана. Але платити за них як за передаючі вагу не варто — тому ми і тримаємо цей прапор по кожній майданчику окремо.