Como verificar o robots.txt: teste o arquivo e URLs específicas, erros comuns
Verificar o robots.txt se resume a três perguntas: o arquivo carrega em https://your-site/robots.txt com status 200, ele contém regras que bloqueiam seções de que você precisa e alguma URL importante foi atingida por um Disallow. O robots.txt controla o rastreamento, e uma linha errada pode bloquear o site inteiro, por isso verifique o arquivo após cada alteração. Você pode analisar seu arquivo com o verificador de robots.txt e criar um novo do zero com o gerador.
Como verificar o robots.txt, passo a passo
- Abra o arquivo no navegador:
https://example.com/robots.txt. Ele deve ficar na raiz do host. As regras valem apenas para o protocolo, o host e a porta onde o arquivo está:shop.example.comtem seu próprio robots.txt, separado do deexample.com. - Verifique o código de status:
curl -I https://example.com/robots.txt. O ideal é 200. Um redirecionamento é aceitável, mas o Google segue no máximo cinco saltos. O significado dos outros códigos está na tabela abaixo. - Passe o arquivo por um parser. O verificador de robots.txt busca o arquivo, agrupa as regras por User-agent e mostra Allow e Disallow, Sitemap, Crawl-delay e o texto bruto. Ele avisa se
Disallow: /vale para todos os bots, se não há linha Sitemap, se o Crawl-delay é maior que 10 ou se o arquivo é grande demais, e dá uma nota de 0 a 100. - Teste suas URLs principais contra as regras: a página inicial, categorias, as páginas que você promove, arquivos CSS e JS. Como fazer isso manualmente está na próxima seção.
- Abra o relatório do robots.txt no Search Console (Configurações → robots.txt). Ele mostra quais arquivos robots.txt o Google encontrou para os 20 principais hosts do seu site, quando os buscou pela última vez, o status, o tamanho e eventuais problemas de análise. Após uma correção urgente, você pode solicitar um novo rastreamento do arquivo no mesmo relatório. O relatório está disponível para propriedades de Domínio e propriedades de prefixo de URL sem caminho. O antigo Testador de robots.txt independente não existe mais: este relatório o substituiu.
- Verifique uma página específica com a Inspeção de URL no Search Console: ela informa se o rastreamento é permitido e, se não for, o que o bloqueia.
O que nosso verificador não faz: ele não testa uma URL específica contra as regras e não sabe como um crawler em particular as interpreta. Ele mostra o arquivo como qualquer visitante o vê e detecta os erros óbvios. Teste URLs individuais com o método abaixo ou no Search Console.
O que a ferramenta verifica
- Busca o arquivo na raiz do domínio via HTTPS, em
https://domain/robots.txt, seguindo redirecionamentos, e informa se o arquivo não existe (404), se o servidor retornou um erro 4xx ou 5xx ou se não foi possível carregar o arquivo. - Agrupa as regras por
User-agent: quais caminhos estão bloqueados (Disallow) ou permitidos (Allow) e para quais bots. Também conta as linhas e as regras. - Lista os links de sitemap (
Sitemap) e o valor deCrawl-delay. - Avisa sobre problemas óbvios: nenhum grupo
User-agent;Disallow: /para todos os bots; ausência de link para o Sitemap;Crawl-delayacima de 10; arquivo com mais de 500 linhas ou maior que 512 KB. - Dá uma nota de 0 a 100 e mostra o arquivo bruto.
O que a ferramenta não verifica: sintaxe e erros de digitação (uma linha com uma diretiva escrita errada é simplesmente ignorada) e se CSS, JS ou URLs específicas estão bloqueados. Teste isso manualmente usando as regras abaixo ou no Search Console.
Erros comuns
| Erro | Consequência |
|---|---|
Disallow: / para todos os robôs | O site fica totalmente fechado para rastreamento: um erro clássico após a migração de um servidor de testes |
| CSS e JS bloqueados | O robô vê a página de forma diferente do usuário e a avalia pior |
| Tentar remover uma página do índice pelo robots.txt | Não funciona: proibir o rastreamento não equivale a remover do índice, para isso é preciso usar noindex |
| Sem link para o sitemap | O robô demora mais para encontrar novas páginas |
| Arquivos diferentes com www e sem www | O comportamento depende de qual versão é rastreada |
Como testar se uma URL está bloqueada
- Encontre o grupo que se aplica. Um crawler obedece a apenas um grupo: aquele cujo User-agent corresponde ao nome dele de forma mais específica. Se o arquivo tiver um grupo
User-agent: Googlebot, as regras deUser-agent: *deixam de valer para o Googlebot. O Google combina vários grupos para o mesmo User-agent. - Liste as regras que correspondem ao início do caminho da URL. A correspondência diferencia maiúsculas de minúsculas, e a query string após o
?faz parte da URL. - A regra correspondente mais longa vence. Se um Allow e um Disallow correspondentes tiverem o mesmo tamanho, o Google usa a menos restritiva: Allow.
- Nenhuma correspondência significa que a URL é permitida.
Dois caracteres especiais funcionam nos caminhos: * corresponde a qualquer sequência de caracteres, inclusive nenhuma, e $ marca o fim da URL.
| Regras | URL | Resultado |
|---|---|---|
Disallow: /catalog/Allow: /catalog/sale/ | /catalog/sale/shoes | Permitida: a regra Allow é mais longa |
Disallow: /*.pdf$ | /files/price.pdf | Bloqueada |
Disallow: /*.pdf$ | /files/price.pdf?v=2 | Permitida: a URL não termina em .pdf |
Disallow: /*?sort= | /shoes?color=red&sort=price | Permitida: sort= não vem logo após o ?; /*sort= é mais seguro |
Allow: /pageDisallow: /page | /page | Permitida: mesmo tamanho, Allow vence |
Disallow: /Admin/ | /admin/ | Permitida: maiúsculas e minúsculas não correspondem |
Disallow: (vazio) | qualquer | Permitida: uma regra vazia não bloqueia nada |
Códigos de status do robots.txt e limites do Google
| Resposta do servidor para /robots.txt | O que o Google faz |
|---|---|
| 2xx | Lê o arquivo e segue as regras |
| 3xx | Segue até cinco redirecionamentos; depois disso trata o arquivo como inexistente (como um 404) |
| 4xx, exceto 429 | Trata como se não houvesse robots.txt: sem restrições de rastreamento |
| 5xx e 429, erros de rede | Para de rastrear o site nas primeiras 12 horas enquanto tenta buscar o arquivo novamente; depois usa a última cópia válida por até 30 dias; após isso, depende de o site estar disponível ou não |
A conclusão pouco óbvia: um robots.txt que retorna 500 por engano é mais perigoso do que nenhum arquivo, pois um 404 significa "rastrear tudo", enquanto um 5xx interrompe o rastreamento. Mais dois limites da documentação de robots.txt do Google: o Google lê no máximo 500 KiB do arquivo e ignora o restante, e normalmente mantém o conteúdo em cache por até 24 horas, então as edições não entram em vigor instantaneamente.
Diretivas em que você não deve confiar
Algumas linhas encontradas em arquivos de outros sites são ignoradas por robôs modernos ou entendidas de forma diferente: crawl delay, indicação do espelho principal, padrões de endereço não padronizados. O Google oferece suporte oficial a um conjunto limitado de diretivas; todo o resto não funciona ou é interpretado de maneiras diferentes pelos mecanismos de busca. Por isso, quanto mais curto e simples for o arquivo, mais previsível será o resultado.
robots.txt e bots de IA
Os serviços de IA rastreiam com seus próprios bots, e você os bloqueia no robots.txt da mesma forma, com grupos User-agent separados: GPTBot, ClaudeBot, PerplexityBot e outros. O Google-Extended não é um crawler separado, mas um token: ele controla se o seu conteúdo é usado nos modelos de IA do Google e não tem efeito na Pesquisa normal. Não os confunda: bloquear o treinamento e bloquear a busca com IA envolvem bots diferentes, e bloquear tudo pode tirar você das respostas dos assistentes de IA. Blocos prontos e o que cada um custa para você estão em como bloquear bots de IA no robots.txt, e o gerador de robots.txt cria um arquivo com os grupos que você escolher.
Arquivo mínimo funcional
Para a maioria dos sites, basta liberar tudo, fechar as seções de serviço, a lixeira e os resultados da busca interna, e depois indicar o sitemap. O restante é conforme a necessidade. Depois de fazer alterações, verifique se as páginas necessárias continuam acessíveis: verificador de indexação e no Search Console.
Verificações relacionadas
Ao mesmo tempo, vale a pena olhar o sitemap e a diferença entre noindex, nofollow e robots.txt: essas três coisas costumam ser confundidas.
