Crawl budget: o que é, como verificar e como otimizar
Crawl budget é o número de URLs de um site que um crawler de busca consegue e quer rastrear em um determinado período. O Google combina duas partes: o limite de capacidade de rastreamento (quanta carga o seu servidor suporta) e a demanda de rastreamento (o quanto o Google precisa rastrear as suas páginas). O conceito é prático: quanto maior o site e mais lento o servidor, mais evidente fica que o crawler não alcança tudo; sites com algumas centenas de páginas normalmente não têm com o que se preocupar.
Como o Google define o crawl budget
A documentação do Google Search Central descreve o crawl budget como o conjunto de URLs que o Google consegue e quer rastrear. Ele combina duas coisas:
- Limite de capacidade de rastreamento: quantas conexões paralelas o Googlebot pode manter abertas, e com qual intervalo, sem sobrecarregar o seu servidor. Ele aumenta quando o site responde rápido e diminui quando o site fica lento, retorna erros 5xx ou envia sinais de limitação de taxa, como o HTTP 429.
- Demanda de rastreamento: o quanto o Google quer rastrear o site. Depende do tamanho do site, da frequência de atualização, da qualidade das páginas e da relevância em comparação com outros sites.
A principal consequência: mesmo que o seu servidor aguentasse mais, o Google não vai rastrear além do que a demanda pede. Um servidor mais rápido ajuda, mas URLs duplicadas e de baixo valor reduzem a demanda mais do que a velocidade consegue compensar.
Do que ele depende
- Velocidade e estabilidade de resposta. Se o servidor está lento ou retorna erros, o bot reduz o ritmo para não prejudicar o site.
- Demanda de rastreamento. Páginas populares e atualizadas com frequência são rastreadas com mais regularidade.
- Qualidade da estrutura. Endereços inúteis gastam o budget que deveria ir para páginas úteis.
Quem precisa se preocupar com o crawl budget
O guia de crawl budget do Google foi escrito para três tipos de site:
- sites grandes, com mais de 1 milhão de páginas únicas e conteúdo que muda com certa frequência (cerca de uma vez por semana);
- sites de médio porte ou maiores, com mais de 10.000 páginas únicas e conteúdo que muda muito rápido (diariamente);
- sites com uma grande parcela de URLs marcadas no Search Console como "Descoberta: atualmente não indexada".
Se as páginas novas do seu site são rastreadas no mesmo dia em que são publicadas, o Google diz que você não precisa do guia. Em um site de serviços comum ou em um blog com algumas centenas de páginas, a indexação lenta raramente tem a ver com o crawl budget; qualidade, duplicatas ou falta de links internos costumam ser a causa. Veja páginas órfãs.
Onde o budget vaza
| Fonte do vazamento | O que fazer |
|---|---|
| Filtros e ordenações infinitos | Bloqueie os parâmetros no rastreamento e mantenha endereços canônicos |
| Busca interna do site | Bloqueie as páginas de resultados |
| Cadeias de redirecionamento | Reduza para uma etapa: veja a verificação de redirecionamentos |
| Links quebrados | Corrija: como encontrar |
| Duplicatas e cópias técnicas | Consolide com endereços canônicos |
O que realmente acelera o rastreamento
- Resposta rápida do servidor. O bot ajusta o ritmo de acordo com a carga: quanto mais rápido o site responde, mais páginas ele consegue rastrear.
- Estrutura clara. Uma página a três cliques da página inicial é encontrada mais rápido do que uma escondida em um nível mais profundo.
- Sitemap atualizado e um link para ele no robots.txt.
- Atualizações regulares. Um site que muda é rastreado com mais frequência.
O relatório Estatísticas de rastreamento no Search Console
Você o encontra em Configurações → Estatísticas de rastreamento. Ele mostra como o Googlebot rastreou o site nos últimos 90 dias: total de solicitações de rastreamento, tamanho total do download, tempo médio de resposta e status do host, ou seja, se houve problemas ao buscar o robots.txt, resolver o DNS ou se conectar ao servidor. Abaixo dos gráficos, as solicitações são divididas por código de resposta, tipo de arquivo, finalidade (descoberta de novas URLs ou atualização de URLs conhecidas) e tipo de Googlebot.
| O que observar | Sinal de alerta |
|---|---|
| Tempo médio de resposta | Aumenta enquanto as solicitações de rastreamento caem: o servidor está limitando o rastreamento |
| Status do host | Erros ao buscar o robots.txt ou ao se conectar ao servidor |
| Por resposta | Uma parcela perceptível de 3xx, 404 e 5xx em vez de 200 |
| Por finalidade | Quase nenhuma descoberta, embora você publique novas páginas com regularidade |
| Por tipo de arquivo | Recursos (scripts, imagens, JSON) consomem a maior parte das solicitações |
Análise de logs do servidor: o que só os logs mostram
As Estatísticas de rastreamento mostram um resumo e amostras; os logs do servidor mostram cada solicitação: exatamente quais URLs o Googlebot buscou, com que frequência e o que recebeu como resposta. Alguns comandos para um log de nginx ou Apache no formato padrão:
# response codes Googlebot received
grep -i "googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
# most frequently crawled URLs
grep -i "googlebot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -50User agents são fáceis de falsificar, então verifique se as solicitações realmente vêm do Google: uma consulta de DNS reverso do IP deve retornar um hostname em googlebot.com ou google.com, e uma consulta direta desse hostname deve retornar o mesmo IP. Mais detalhes em análise de logs do servidor para SEO.
Como entender que o orçamento está sendo desperdiçado
- Verifique as estatísticas de rastreamento no Search Console: quantas páginas por dia e com quais códigos de resposta.
- Compare o número de endereços rastreados com o número de páginas úteis do site.
- Verifique qual parcela do rastreamento vai para redirecionamentos e erros.
- Se as páginas úteis são rastreadas uma vez por mês, enquanto páginas inúteis são rastreadas todos os dias, concentre-se na estrutura, não nos links.
Como otimizar o crawl budget passo a passo
- Consolide duplicatas com URLs canônicas ou redirecionamentos para variações com parâmetros, www/sem www e com/sem barra final. Veja URL canônica.
- Bloqueie no robots.txt o que nunca deve ser rastreado: filtros infinitos, ordenações, busca interna. Não use noindex para isso: o Google ainda solicita a página. Para evitar bloquear demais, veja verificação do robots.txt.
- Retorne 404 ou 410 para páginas removidas e elimine os soft 404, páginas provisórias que retornam 200. Segundo o Google, os soft 404 continuam sendo rastreados e desperdiçam orçamento.
- Remova cadeias longas de redirecionamento e links internos para URLs que redirecionam.
- Mantenha seu sitemap atualizado: apenas URLs canônicas que retornam 200, com
<lastmod>para páginas atualizadas. Verifique com o analisador de sitemap. - Ofereça suporte a 304 Not Modified em solicitações condicionais, para que o Google possa reutilizar sua cópia de páginas sem alterações em vez de baixá-las novamente.
- Acelere o servidor e monitore as respostas 5xx e 429, pois elas reduzem diretamente o limite de capacidade de rastreamento.
- Compare as Estatísticas de rastreamento algumas semanas após as mudanças: a parcela de respostas 200 e de descoberta deve crescer.
Mitos sobre o crawl budget
- "O noindex economiza crawl budget." Não: o Google solicita a página, vê o noindex e só então a descarta. Um bloqueio no robots.txt economiza rastreamento, mas então o rastreador nunca vê o noindex. A diferença é explicada em noindex, nofollow e robots.txt.
- "O Crawl-delay no robots.txt vai desacelerar o Googlebot." O Google não oferece suporte a essa regra; ele ajusta sua taxa com base na forma como o servidor responde.
- "Mais rastreamento significa posições mais altas." O Google já afirmou que um aumento na taxa de rastreamento, por si só, não leva a posições melhores. O rastreamento é uma condição prévia para a indexação, não um fator de ranqueamento.
- "Sites pequenos precisam otimizar o crawl budget." Um site com algumas centenas de páginas é rastreado por completo de qualquer maneira.
- "Bots de IA consomem o crawl budget do Google." O crawl budget diz respeito aos rastreadores do Google. Mas todo bot aumenta a carga do servidor, e um servidor lento reduz o limite de capacidade do Googlebot. Se bots de terceiros sobrecarregam seu site de forma perceptível, gerencie-os no robots.txt. Veja como bloquear bots de IA no robots.txt.
