Budżet crawl: co to jest i kiedy jest ważny
Ile stron robot jest gotów odwiedzić i od czego to zależy, gdzie ucieka budżet na dużych stronach, jak to zobaczyć w Search Console i dlaczego małe strony mogą się nie martwić.
Budżet crawl — liczba stron witryny, które robot wyszukiwarki jest gotów odwiedzić w wyznaczonym czasie. Pojęcie praktyczne: im większa witryna i im wolniejszy serwer, tym bardziej zauważalne jest, że robot nie dociera do wszystkiego.
Od czego on zależy
- Prędkość i stabilność odpowiedzi. Jeśli serwer spowalnia lub zwraca błędy, robot zmniejsza tempo, aby nie zaszkodzić witrynie.
- Popyt na skanowanie. Popularne i często aktualizowane strony są odwiedzane częściej.
- Jakość struktury. Śmieciowe adresy marnują budżet zamiast użytecznych stron.
Gdzie budżet ucieka
| Źródło ucieczki | Co robić |
|---|---|
| Nieskończone filtry i sortowania | Zamknąć parametry przed skanowaniem, zostawić adresy kanoniczne |
| Wewnętrzne wyszukiwanie na stronie | Zamknąć strony wyników |
| Łańcuchy przekierowań | Skrócić do jednego kroku — zob. sprawdzenie przekierowań |
| Uszkodzone linki | Naprawić — jak znaleźć |
| Duplikaty i techniczne kopie | Ograniczyć do adresów kanonicznych |
Dla małej strony to nie problem
Póki stron jest kilka setek, robot odwiedza wszystko i bez optymalizacji. Budżet crawl staje się realnym tematem na dużych katalogach, marketplace'ach i stronach z generowaniem adresów według filtrów.Co naprawdę przyspiesza skanowanie
- Szybka odpowiedź serwera. Robot dostosowuje tempo do obciążenia: im szybciej odpowiada witryna, tym więcej stron udaje mu się odwiedzić.
- Zrozumiała struktura. Strona w trzy kliknięcia od głównej znajduje się szybciej niż ukryta w głębi.
- Aktualna mapa witryny i link do niej w robots.txt.
- Regularne aktualizacje. Witryny, które się zmieniają, są odwiedzane częściej.
Jak zrozumieć, że budżet jest marnowany
- Sprawdź w statystyce skanowania Search Console: ile stron dziennie i z jakimi kodami odpowiedzi.
- Porównaj liczbę odwiedzonych adresów z liczbą użytecznych stron witryny.
- Sprawdź, jaka część skanowania idzie na przekierowania i błędy.
- Jeśli użyteczne strony są odwiedzane raz w miesiącu, a śmieciowe codziennie — zajmij się strukturą, a nie linkami.
Częste pytania
Kiedy budżet crawl staje się problemem?
Na dużych stronach z generowaniem adresów według filtrów. Dopóki stron jest kilka setek, robot odwiedza wszystko i bez optymalizacji.
Co najczęściej konsumuje budżet?
Nieskończone filtry i sortowania, strony wewnętrznego wyszukiwania, łańcuchy przekierowań, uszkodzone linki i techniczne duplikaty.
Jak zobaczyć problem?
W statystyce skanowania Search Console: ile stron dziennie jest odwiedzanych i jaka część przypada na przekierowania i błędy.
Czy artykuł był pomocny?
Dziękujemy! Weźmiemy to pod uwagę przy dalszym rozwoju.
Wypróbuj na swoim projekcie
Wszystko, co opisano w artykule, jest dostępne w panelu — bonus przy rejestracji już na saldzie.
Open dashboard