Robots.txt Checker & Tester
Verifique o robots.txt: regras Allow/Disallow, User-Agent, Sitemap, Crawl-delay e alertas, por exemplo, de que o site inteiro está bloqueado.
Fatos principais
Enter a site address and the tool downloads its robots.txt, breaks down Allow and Disallow rules for every User-agent, finds the Sitemap lines and tells you if the whole site is blocked. Free, no sign-up, a few seconds. It cannot test whether one specific URL is blocked.
- Preço
- Grátis
- Cadastro
- Não é necessário
- Processamento
- On our server: it downloads https://your-domain/robots.txt itself and parses the file; nothing from your browser is uploaded
- Entrada
- A site or page URL — only the domain is used; the file /robots.txt is fetched over https
- Limites
- 8 checks per minute per IP; 10-second wait for the site to answer; a warning appears for files over 500 lines or 512 KB
- Resultado
- A 0–100 score, line count, Allow and Disallow counts, a block per User-agent, Sitemap links, Crawl-delay, warnings and the raw file text
- Última atualização
Código aberto no GitHub
Execute a mesma verificação na sua própria máquina: uma ferramenta de linha de comando em Node.js, uma biblioteca e uma GitHub Action. Código aberto sob a licença MIT.
Análise do robots.txt: verificação de acesso dos bots
Verifique o arquivo robots.txt: diretivas Allow/Disallow de cada User-Agent, links de Sitemap e Crawl-delay, além de alertas: se o site inteiro está bloqueado, se há um Sitemap listado ou se o arquivo é grande demais. Garanta que os bots de busca vejam todo o conteúdo importante do seu site.
Como usar
- Informe o domínio para verificar o robots.txt
- Revise a lista de regras e alertas
- Corrija os problemas encontrados (por exemplo, Disallow: / para todos os bots)
Casos de uso
- Validate robots.txt before launching a new site version.
- Detect accidental crawl blocks on important sections.
Limitações
- Checks robots.txt only and does not replace page-level meta robots audits.
- Different bots can interpret edge-case directives differently.
Exemplo de entrada / resultado
https://example.com/robots.txt
Detected 2 potentially risky Disallow rules and 1 missing Sitemap directive.
FAQ
PromoPilot vs. alternativas: comparação
Comparamos apenas o que está confirmado nas páginas de cada serviço. Onde não conseguimos confirmar um dado, a célula mostra "—".
| Parâmetro | PromoPilot | Google Search Console | 365i Robots Checker | Growtika Robots.txt Checker |
|---|---|---|---|---|
| Grátis e limites | Yes, 8 checks a minute | — | Yes ("Free Tool"); limits not stated | Yes ("FREE TOOL"); limits not stated |
| Cadastro | Não é necessário | Needs Search Console access; domain-level properties only | Not required ("No sign-up required") | — |
| Entrada | A domain: we fetch its /robots.txt | Files Google found for your site's top 20 hosts | A domain: fetches and parses the file | You paste the file text |
| Directive and Sitemap breakdown | ✓ | Lists parsing issues | ✓ flags CSS/JS-blocking wildcards, missing sitemap, conflicts | ✓ syntax errors, blocking issues, copy-paste fixes |
| Test a single URL against the rules | ✗ | For a URL, use the URL Inspection tool | ✓ | — |
| AI crawler audit | ✗ | — | — | ✓ 16 crawlers: AI, search, social |
| Google's own fetch status | ✗ | ✓ status, last checked, size, recrawl request | — | — |
| Paid plan | None, the tool is free | — | — | — |
Role a tabela para os lados
Onde somos mais fracos: no test of a single URL against the rules, no dedicated AI-crawler audit and no data on how Google itself sees the file.
Quando escolher o PromoPilot: When you want a quick overview of any site's file (a competitor's too) without signing up: which bots are named, what is blocked, whether a Sitemap is listed. To test a specific URL against the rules, use a tester with a path field or URL Inspection in Search Console.
Verificado em: . "—" significa que não foi confirmado na página oficial; condições e preços mudam, então confira os sites dos próprios serviços.
