Robots.txt Checker & Tester
Comprueba robots.txt: reglas Allow/Disallow, User-Agent, Sitemap, Crawl-delay y advertencias, por ejemplo, que todo el sitio esté bloqueado.
Datos clave
Enter a site address and the tool downloads its robots.txt, breaks down Allow and Disallow rules for every User-agent, finds the Sitemap lines and tells you if the whole site is blocked. Free, no sign-up, a few seconds. It cannot test whether one specific URL is blocked.
- Precio
- Gratis
- Registro
- No necesario
- Procesamiento
- On our server: it downloads https://your-domain/robots.txt itself and parses the file; nothing from your browser is uploaded
- Entrada
- A site or page URL — only the domain is used; the file /robots.txt is fetched over https
- Límites
- 8 checks per minute per IP; 10-second wait for the site to answer; a warning appears for files over 500 lines or 512 KB
- Resultado
- A 0–100 score, line count, Allow and Disallow counts, a block per User-agent, Sitemap links, Crawl-delay, warnings and the raw file text
- Última actualización
Código abierto en GitHub
Ejecuta la misma comprobación en tu propio equipo: una herramienta de línea de comandos de Node.js, una biblioteca y una GitHub Action. Código abierto con licencia MIT.
Análisis de robots.txt: verificación de acceso de bots
Verifica el archivo robots.txt: directivas Allow/Disallow para cada User-Agent, enlaces a Sitemap y Crawl-delay, además de advertencias: si todo el sitio está bloqueado, si hay un Sitemap indicado o si el archivo es demasiado grande. Asegúrate de que los bots de búsqueda puedan ver todo el contenido importante de tu sitio.
Cómo usar
- Introduce el dominio para verificar robots.txt
- Revisa la lista de reglas y advertencias
- Corrige los problemas encontrados (por ejemplo, Disallow: / para todos los bots)
Casos de uso
- Validate robots.txt before launching a new site version.
- Detect accidental crawl blocks on important sections.
Limitaciones
- Checks robots.txt only and does not replace page-level meta robots audits.
- Different bots can interpret edge-case directives differently.
Ejemplo de entrada / resultado
https://example.com/robots.txt
Detected 2 potentially risky Disallow rules and 1 missing Sitemap directive.
FAQ
PromoPilot frente a alternativas: comparación
Comparamos solo lo que está confirmado en las páginas de cada servicio. Donde no pudimos confirmar un dato, la celda muestra "—".
| Parámetro | PromoPilot | Google Search Console | 365i Robots Checker | Growtika Robots.txt Checker |
|---|---|---|---|---|
| Gratis y límites | Yes, 8 checks a minute | — | Yes ("Free Tool"); limits not stated | Yes ("FREE TOOL"); limits not stated |
| Registro | No necesario | Needs Search Console access; domain-level properties only | Not required ("No sign-up required") | — |
| Entrada | A domain: we fetch its /robots.txt | Files Google found for your site's top 20 hosts | A domain: fetches and parses the file | You paste the file text |
| Directive and Sitemap breakdown | ✓ | Lists parsing issues | ✓ flags CSS/JS-blocking wildcards, missing sitemap, conflicts | ✓ syntax errors, blocking issues, copy-paste fixes |
| Test a single URL against the rules | ✗ | For a URL, use the URL Inspection tool | ✓ | — |
| AI crawler audit | ✗ | — | — | ✓ 16 crawlers: AI, search, social |
| Google's own fetch status | ✗ | ✓ status, last checked, size, recrawl request | — | — |
| Paid plan | None, the tool is free | — | — | — |
Desplaza la tabla hacia los lados
Dónde somos más débiles: no test of a single URL against the rules, no dedicated AI-crawler audit and no data on how Google itself sees the file.
Cuándo elegir PromoPilot: When you want a quick overview of any site's file (a competitor's too) without signing up: which bots are named, what is blocked, whether a Sitemap is listed. To test a specific URL against the rules, use a tester with a path field or URL Inspection in Search Console.
Comprobado el: . "—" significa que no está confirmado en la página oficial; las condiciones y los precios cambian, así que consulta los sitios de cada servicio.
