Auditoria: problemas de indexação e o que eles significam
A categoria "Indexação e rastreamento" responde a uma única pergunta: a página vai aparecer na busca. Aqui estão seis dos doze erros da auditoria: se a página está indisponível ou fechada, as outras observações sobre ela não fazem sentido. Também entram aqui as verificações do robots.txt e do acesso para crawlers de IA.
Erros: corrija primeiro
| Código no relatório | O que aconteceu | O que fazer |
|---|---|---|
| Página retorna 4xx | O endereço não existe, mas há links apontando para ele | Restaure a página ou configure um 301 para o endereço atual e remova os links |
| Erro de servidor 5xx | O servidor não conseguiu retornar a página | Verifique os logs: geralmente é um problema de banco de dados, limites ou erro de código |
| Página indisponível | Timeout ou queda de conexão | Verifique a estabilidade da hospedagem e o tempo de resposta |
| Loop de redirecionamento | O endereço redireciona para si mesmo em loop | Quebre a cadeia: geralmente é um conflito entre as regras de www/https e o CMS |
| Múltiplos canonicals | Há dois ou mais endereços canonical na página | Mantenha apenas um: caso contrário, o buscador escolherá um por conta própria |
| Conteúdo do site renderizado por JavaScript | Quase não há texto nem links no HTML original: tudo aparece só depois da execução dos scripts | Ative a renderização no servidor (SSR) ou a pré-renderização e use links comuns com a tag <a href> |
Avisos
- Página fechada com noindex: às vezes é intencional, mas na maioria dos casos é uma restrição esquecida após o desenvolvimento. Verifique se essa página realmente precisa aparecer na busca.
- Fechada no robots.txt: o bot não vai rastrear a página. Lembre-se: isso não é o mesmo que remoção do índice, veja a análise das três diretivas.
- Cadeia de redirecionamentos: mais de uma etapa, com perda de velocidade e de parte do peso.
- Meta Refresh: método de redirecionamento ultrapassado, que os buscadores entendem pior do que um redirecionamento comum.
- Hreflang sem autorreferência: a marcação das versões de idioma não funciona, veja a verificação de hreflang.
- robots.txt retorna página HTML: no endereço /robots.txt o servidor retorna uma página do site em vez das regras. Para os buscadores, o robots.txt na prática não existe, e o sitemap não pode ser encontrado por ele. Esse é um problema comum em sites com JavaScript que respondem com a página inicial para qualquer endereço.
- Crawlers de IA fechados no robots.txt: bots como ChatGPT, Claude, Perplexity ou Google AI não conseguem ler o site, ou seja, não vão citá-lo em suas respostas. Os detalhes dos problemas são listados para os bots fechados.
Observações
Sem canonical e canonical para outro endereço: o segundo é especialmente traiçoeiro, pois a página é excluída do índice em favor da indicada. Redirecionamento interno: links dentro do site levam a um endereço que redireciona; é melhor apontar diretamente para o endereço final. Acesso restrito: a proteção da hospedagem bloqueou nosso crawler; a página provavelmente está funcionando, mas verifique manualmente. Sitemap.xml não encontrado: veja a verificação de sitemap. Sem robots.txt: não há nada no endereço /robots.txt, os buscadores não veem as regras de rastreamento nem os links para o sitemap; crie um arquivo com regras e uma linha Sitemap: com o endereço do sitemap.
Sites com JavaScript
Se há quase nenhum texto e nenhum link no código principal, a auditoria abre as páginas em um navegador real e verifica o que o visitante vê, e um banner aparece acima do relatório com a mensagem "Conteúdo do site renderizado por JavaScript: verificamos no navegador". A lista de problemas nesse caso é completa, mas o erro "Conteúdo do site renderizado por JavaScript" permanece: o Google renderiza essas páginas com atraso e nem sempre, enquanto os bots de IA geralmente veem uma página vazia. Se não foi possível verificar no navegador, o banner aparece sem as palavras sobre o navegador, e o número de páginas encontradas será baixo: é assim que os buscadores veem o site sem renderização.
Acesso para crawlers de IA e llms.txt
A auditoria lê o robots.txt e verifica se o site está aberto para bots como GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended e Applebot-Extended. Se pelo menos um estiver fechado, aparece o aviso "Crawlers de IA fechados no robots.txt". Fechar ou não os bots é uma decisão sua, mas um bot fechado não vai citar o site.
Além disso, o llms.txt também é verificado: um sitemap resumido para assistentes de IA em formato Markdown, que informa sobre o que é a empresa e quais são as seções e páginas principais. Se o arquivo não existir, aparece a observação "Sem llms.txt"; no relatório, ela é classificada em "Conteúdo". É uma observação, não um erro: o arquivo é útil, mas não obrigatório. A relação disso com as citações nas respostas de IA é explicada na seção "Visibilidade na busca com IA" do artigo como ler o relatório de auditoria.
Como verificar uma página específica
A auditoria mostra o panorama do site, mas, para uma única página, é mais rápido usar o verificador de indexação e os cabeçalhos de resposta: a restrição pode ser retornada pelo servidor e não estar visível no código da página.