Análise de logs do servidor para SEO
Análise de logs é o exame dos logs do servidor web que registram cada requisição ao site, incluindo as requisições de bots de busca. Essa é a única fonte que mostra o que o bot realmente fez, e não o que os relatórios resumidos indicam.
O que só aparece nos logs
- Quais páginas o bot rastreia com mais frequência, e se ele está desperdiçando orçamento com lixo.
- Quais páginas importantes ele não visita há meses.
- Quais códigos de resposta ele recebe: 404, 500, cadeias de redirecionamento.
- Quanto tempo o servidor levou para responder especificamente ao bot.
- Se alguém não autorizado está se passando por um bot.
Como é o processo
- Pegue os logs de duas a quatro semanas: geralmente são arquivos access.log no servidor.
- Filtre as requisições de bots de busca por user-agent e verifique-as com as faixas de endereços oficiais: a falsificação é comum.
- Agrupe por seções do site e observe a distribuição do rastreamento.
- Compare com a lista de páginas importantes para você.
- Remova do rastreamento o que não deveria estar lá: filtros, ordenações, endereços de serviço.
| Achado nos logs | O que geralmente significa |
|---|---|
| Metade do rastreamento são páginas de filtro | A navegação facetada consome o orçamento de rastreamento |
| O bot está visitando endereços antigos | Há links para redirecionamentos restantes dentro do site |
| Muitas respostas 5xx para o bot | O servidor não aguenta o rastreamento: as posições podem cair |
| Uma seção importante não foi visitada | Ela tem poucos links internos |
Com o que substituir se não houver logs
Parcialmente, com o relatório de indexação no Search Console: ele mostra o status das páginas e os motivos de exclusão. Isso não substitui os logs, mas permite encontrar a maioria dos problemas típicos sem acesso ao servidor.
Orçamento de rastreamento em termos simples
O orçamento de rastreamento é o número de páginas que o bot está disposto a rastrear no site em um período. Ele depende da rapidez com que o servidor responde e do valor que a busca atribui ao site. Você não pode aumentá-lo diretamente, mas pode parar de desperdiçá-lo: remova do rastreamento duplicatas, endereços de serviço e combinações infinitas de parâmetros.
Um sinal prático de orçamento insuficiente é quando páginas novas não são indexadas por semanas, mesmo que tecnicamente esteja tudo certo com elas.