Краулинговый бюджет: что это, как проверить и оптимизировать
Краулинговый бюджет — это количество адресов сайта, которое поисковый робот может и хочет просканировать за определённое время. Google складывает его из двух частей: лимита нагрузки на сервер (crawl capacity limit) и потребности в сканировании (crawl demand). Понятие практическое: чем больше сайт и чем медленнее сервер, тем заметнее, что робот доходит не до всего; сайтам на несколько сотен страниц беспокоиться обычно не о чем.
Как Google определяет краулинговый бюджет
В документации Google Search Central краулинговый бюджет описан как набор адресов, которые Google может и хочет просканировать. Он складывается из двух величин:
- Лимит нагрузки (crawl capacity limit) — сколько одновременных соединений и с какими паузами Googlebot может держать, не перегружая сервер. Если сайт отвечает быстро, лимит растёт; если замедляется, отдаёт ошибки 5xx или сигналы ограничения вроде HTTP 429 — снижается.
- Потребность в сканировании (crawl demand) — насколько Google вообще нужно сканировать сайт. Она зависит от размера сайта, частоты обновлений, качества страниц и их востребованности по сравнению с другими сайтами.
Отсюда главное следствие: даже если сервер выдержит больше, Google не станет сканировать сайт чаще, чем требует спрос. Ускорить сервер полезно, но малоценные и дублирующиеся адреса снижают потребность в обходе сильнее, чем помогает скорость.
От чего он зависит
- Скорость и стабильность ответа. Если сервер тормозит или отдаёт ошибки, робот снижает темп, чтобы не навредить сайту.
- Спрос на обход. Популярные и часто обновляемые страницы обходятся чаще.
- Качество структуры. Мусорные адреса тратят бюджет вместо полезных страниц.
Кому нужно заниматься краулинговым бюджетом
Google адресует своё руководство по краулинговому бюджету трём типам сайтов:
- крупные сайты — от миллиона уникальных страниц, содержимое которых меняется примерно раз в неделю;
- средние и крупные сайты — от 10 000 уникальных страниц с очень быстро меняющимся содержимым (ежедневно);
- сайты, у которых большая доля адресов в Search Console имеет статус «Обнаружена, не проиндексирована».
Если новые страницы вашего сайта сканируются в день публикации, по словам Google, заниматься бюджетом не нужно. Для типичного сайта услуг или блога на сотни страниц медленная индексация обычно объясняется не бюджетом, а качеством, дублями или отсутствием внутренних ссылок — см. страницы-сироты.
Куда бюджет утекает
| Источник утечки | Что делать |
|---|---|
| Бесконечные фильтры и сортировки | Закрыть параметры от обхода, оставить канонические адреса |
| Внутренний поиск по сайту | Закрыть страницы результатов |
| Цепочки редиректов | Сократить до одного шага — см. проверку редиректов |
| Битые ссылки | Исправить — как найти |
| Дубли и технические копии | Свести каноническими адресами |
Что реально ускоряет обход
- Быстрый ответ сервера. Робот подстраивает темп под нагрузку: чем быстрее отвечает сайт, тем больше страниц он успевает обойти.
- Понятная структура. Страница в трёх кликах от главной находится быстрее, чем спрятанная в глубине.
- Актуальная карта сайта и ссылка на неё в robots.txt.
- Регулярные обновления. Сайт, который меняется, обходят чаще.
Отчёт «Статистика сканирования» в Search Console
Отчёт находится в разделе «Настройки» → «Статистика сканирования». Он показывает, как Googlebot обходил сайт за последние 90 дней: общее число запросов сканирования, объём скачанных данных, среднее время ответа и статус хоста — были ли проблемы с получением robots.txt, разрешением DNS и подключением к серверу. Ниже графиков — разбивки запросов по коду ответа, типу файла, цели (обнаружение новых адресов или обновление известных) и типу Googlebot.
| Что смотреть | Тревожный признак |
|---|---|
| Среднее время ответа | Растёт вместе с падением числа запросов — сервер ограничивает обход |
| Статус хоста | Ошибки получения robots.txt или подключения к серверу |
| По коду ответа | Заметная доля 3xx, 404 и 5xx вместо 200 |
| По цели | Почти нет «обнаружения» при регулярной публикации новых страниц |
| По типу файла | Ресурсы (скрипты, картинки, JSON) занимают большую часть запросов |
Анализ логов сервера: что видно только там
Статистика сканирования показывает сводку и примеры, а логи сервера — каждый запрос: какие именно адреса Googlebot запрашивал, как часто и что получал в ответ. Пара команд для журнала nginx или Apache в стандартном формате:
# коды ответа, которые получал Googlebot
grep -i "googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
# самые часто сканируемые адреса
grep -i "googlebot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -50User-agent легко подделать, поэтому перед выводами проверьте, что это действительно Google: обратный DNS-запрос по IP должен вернуть имя в домене googlebot.com или google.com, а прямой запрос по этому имени — тот же IP. Подробно о методике — в статье об анализе логов.
Как понять, что бюджет тратится зря
- Посмотрите в Search Console статистику обхода: сколько страниц в день и с какими кодами ответа.
- Сравните число обойдённых адресов с числом полезных страниц сайта.
- Проверьте, какая доля обхода уходит на редиректы и ошибки.
- Если полезные страницы обходятся раз в месяц, а мусорные ежедневно — займитесь структурой, а не ссылками.
Как оптимизировать краулинговый бюджет: пошагово
- Сведите дубли. Канонические адреса или редиректы для версий с параметрами, www/без www, слешем — см. канонический адрес.
- Закройте в robots.txt то, что не нужно сканировать вообще: бесконечные фильтры, сортировки, внутренний поиск. Не используйте для этого noindex — Google всё равно запросит страницу. Как не закрыть лишнего — в статье о проверке robots.txt.
- Отдавайте 404 или 410 для удалённых страниц и избавьтесь от «мягких» 404 — страниц-заглушек с кодом 200: по словам Google, они продолжают сканироваться и тратят бюджет.
- Уберите длинные цепочки редиректов и ссылки на адреса, которые редиректят.
- Держите карту сайта актуальной: только канонические адреса с кодом 200 и тег
<lastmod>для обновлённых страниц. Проверить можно анализатором sitemap. - Поддержите ответ 304 Not Modified на условные запросы: так Google понимает, что страница не изменилась, и не скачивает её заново.
- Ускорьте сервер и следите за ошибками 5xx и 429 — они напрямую снижают лимит нагрузки.
- Сравните статистику сканирования через несколько недель после изменений: доля 200 и «обнаружения» должна вырасти.
Мифы о краулинговом бюджете
- «noindex экономит бюджет». Нет: Google запрашивает страницу, видит noindex и только потом её отбрасывает. Экономит запрет в robots.txt — но тогда робот не увидит и сам noindex. Разница инструкций — в статье noindex, nofollow и robots.txt.
- «Crawl-delay в robots.txt замедлит Googlebot». Google это правило не поддерживает; скорость он подстраивает сам по ответам сервера.
- «Чем чаще сканируют, тем выше позиции». Google писал, что рост частоты сканирования сам по себе не ведёт к лучшим позициям. Сканирование — условие попадания в индекс, а не фактор ранжирования.
- «Маленькому сайту нужно оптимизировать бюджет». На сайте в сотни страниц робот обходит всё и так; проблемы с индексацией там почти всегда другие.
- «ИИ-боты расходуют бюджет Google». Бюджет считается для роботов Google. Но любые боты нагружают сервер, а медленный сервер снижает лимит нагрузки для Googlebot. Если сторонние боты заметно грузят сайт, ими управляют в robots.txt — см. как закрыть сайт от ИИ-ботов.