noindex, nofollow і robots.txt: що вбиває посилання
Три різні речі, які постійно плутають: nofollow забороняє передавати вагу за посиланням, noindex прибирає з індексу саму сторінку, а robots.txt забороняє її обходити. Для посилального просування важливі всі три, і вбивають посилання вони по-різному.
Чим відрізняються
| Інструкція | Де стоїть | Що робить | Що з вашою посиланням |
|---|---|---|---|
rel="nofollow" | В самій посиланні | Просить не враховувати посилання як рекомендацію | Згадування є, вага не передається |
noindex | В мета-тегу сторінки або заголовку відповіді | Прибирає сторінку з індексу | Посилання безглузда: сторінки-донори немає в пошуку |
Disallow в robots.txt | В файлі на домені | Забороняє обхід сторінки | Робот не побачить ні сторінку, ні посилання на ній |
rel="ugc" / rel="sponsored" | В посиланні | Позначає користувацький або рекламний характер | Враховується як підказка, вага зазвичай не передається |
Найгірша комбінація: dofollow на noindex-сторінці
Рівно цей випадок зустрічається на паст-сервісах: посилання чесна, без nofollow, а сама сторінка закрита від індексації. В нашому пулі є такі майданчики, і їх частка публікацій в індексі за вимірами дорівнює нулю — тому вони отримують низький пріоритет або вимикаються зовсім. Як влаштований відбір — в статті «Як ми відбираємо майданчики».
rel в вихідному коді часто брешуть: одна майданчик знімає nofollow скриптом вже в браузері, інша, навпаки, дописує його. Дивитися потрібно в інструментах розробника, а не в «Вихідному коді сторінки» — подробиці в статті про передачу ваги.Що з цього перевіряти у себе на сайті
- Просувається сторінка не повинна містити
noindex— інакше посилання ведуть в нікуди. - Вона не повинна бути закрита в
robots.txt: закриту сторінку робот не обійде, навіть знаючи адресу. - Канонічна адреса повинна вказувати на неї саму, а не на іншу сторінку.
- Перевірити все одразу можна перевіркою robots.txt, аналізом мета-тегів і чекером індексації.
Чи потрібні nofollow-посилання взагалі
Так, як частина природного профілю: посилальна маса, цілком складається з dofollow, виглядає менш правдоподібно, ніж змішана. Але платити за них як за передаючі вагу не варто — тому ми і тримаємо цей прапор по кожній майданчику окремо.