Краулінговий бюджет: що це і коли важливо
Скільки сторінок робот готовий обійти і від чого це залежить, куди витікає бюджет на великих сайтах, як це побачити в Search Console і чому маленьким сайтам можна не турбуватися.
Краулінговий бюджет — кількість сторінок сайту, яке пошуковий робот готовий обійти за відведений час. Поняття практичне: чим більший сайт і чим повільніший сервер, тим помітніше, що робот доходить не до всього.
Від чого він залежить
- Швидкість і стабільність відповіді. Якщо сервер гальмує або віддає помилки, робот знижує темп, щоб не нашкодити сайту.
- Попит на обхід. Популярні і часто оновлювані сторінки обходяться частіше.
- Якість структури. Сміттєві адреси витрачають бюджет замість корисних сторінок.
Куди бюджет витікає
| Джерело витоку | Що робити |
|---|---|
| Безкінечні фільтри і сортування | Закрити параметри від обходу, залишити канонічні адреси |
| Внутрішній пошук по сайту | Закрити сторінки результатів |
| Цепочки редиректів | Скоротити до одного кроку — см. перевірку редиректів |
| Биті посилання | Виправити — як знайти |
| Дублікати і технічні копії | Звести канонічними адресами |
Для маленького сайту це не проблема
Поки сторінок кілька сотень, робот обходить все і без оптимізації. Краулінговий бюджет стає реальною темою на великих каталогах, маркетплейсах і сайтах з генерацією адрес по фільтрах.Що реально прискорює обхід
- Швидка відповідь сервера. Робот підстраює темп під навантаження: чим швидше відповідає сайт, тим більше сторінок він встигає обійти.
- Зрозуміла структура. Сторінка в трьох кліках від головної знаходиться швидше, ніж захована в глибині.
- Актуальна карта сайту і посилання на неї в robots.txt.
- Регулярні оновлення. Сайт, який змінюється, обходять частіше.
Як зрозуміти, що бюджет витрачається даремно
- Подивіться в Search Console статистику обходу: скільки сторінок на день і з якими кодами відповіді.
- Порівняйте число обійдених адрес з числом корисних сторінок сайту.
- Перевірте, яка частка обходу йде на редиректи і помилки.
- Якщо корисні сторінки обходяться раз на місяць, а сміттєві щодня — займіться структурою, а не посиланнями.
Часті питання
Коли краулінговий бюджет стає проблемою?
На великих сайтах з генерацією адрес по фільтрах. Поки сторінок кілька сотень, робот обходить все і без оптимізації.
Що з'їдає бюджет частіше за все?
Безкінечні фільтри і сортування, сторінки внутрішнього пошуку, цепочки редиректів, биті посилання і технічні дублікати.
Як побачити проблему?
В статистиці обходу Search Console: скільки сторінок на день обходиться і яка частка припадає на редиректи і помилки.
Чи була стаття корисною?
Дякуємо! Врахуємо при доопрацюванні.
Спробуйте на своєму проєкті
Все, що описано в статті, доступно в кабінеті — бонус при реєстрації вже на балансі.
Відкрити кабінет