Cómo revisar robots.txt: prueba el archivo y URLs específicas, errores comunes
Revisar el robots.txt se reduce a tres preguntas: ¿el archivo carga en https://your-site/robots.txt con estado 200?, ¿contiene reglas que bloquean secciones que necesitas? y ¿hay URLs importantes afectadas por un Disallow? robots.txt controla el rastreo, y una sola línea incorrecta puede bloquear todo el sitio, por eso conviene revisar el archivo después de cada cambio. Puedes analizar tu archivo con el verificador de robots.txt y crear uno nuevo desde cero con el generador.
Cómo revisar robots.txt, paso a paso
- Abre el archivo en el navegador:
https://example.com/robots.txt. Debe estar en la raíz del host. Las reglas se aplican solo al protocolo, host y puerto donde está el archivo:shop.example.comtiene su propio robots.txt, independiente del deexample.com. - Comprueba el código de estado:
curl -I https://example.com/robots.txt. Lo ideal es 200. Una redirección es aceptable, pero Google sigue como máximo cinco saltos. Lo que significan otros códigos está en la tabla de abajo. - Pasa el archivo por un analizador. El verificador de robots.txt descarga el archivo, agrupa las reglas por User-agent y muestra Allow y Disallow, Sitemap, Crawl-delay y el texto original. Te avisa si
Disallow: /se aplica a todos los bots, si falta la línea Sitemap, si Crawl-delay es mayor que 10 o si el archivo es demasiado grande, y da una puntuación de 0 a 100. - Prueba tus URLs clave con las reglas: la página de inicio, las categorías, las páginas que promocionas, archivos CSS y JS. Cómo hacerlo manualmente se explica en la siguiente sección.
- Abre el informe de robots.txt en Search Console (Configuración → robots.txt). Muestra qué archivos robots.txt encontró Google para los 20 hosts principales de tu sitio, cuándo los descargó por última vez, su estado, tamaño y cualquier problema de análisis. Después de una corrección urgente, puedes solicitar un nuevo rastreo del archivo desde el mismo informe. El informe está disponible para propiedades de dominio y propiedades de prefijo de URL sin ruta. El antiguo probador de robots.txt independiente ya no existe: este informe lo reemplazó.
- Revisa una página concreta con la Inspección de URL en Search Console: te indica si el rastreo está permitido y, si no, qué lo bloquea.
Lo que nuestro verificador no hace: no prueba una URL específica contra las reglas y no sabe cómo interpreta cada rastreador esas reglas. Muestra el archivo tal como lo ve cualquier visitante y detecta los errores evidentes. Prueba URLs individuales con el método de abajo o en Search Console.
Qué revisa la herramienta
- Descarga el archivo desde la raíz del dominio por HTTPS (
https://domain/robots.txt), siguiendo las redirecciones, e indica si el archivo no existe (404), si el servidor devolvió un error 4xx o 5xx, o si no se pudo cargar. - Agrupa las reglas por
User-agent: qué rutas están bloqueadas (Disallow) o permitidas (Allow) y para qué bots. También cuenta las líneas y las reglas. - Muestra los enlaces al sitemap (
Sitemap) y el valor deCrawl-delay. - Avisa de problemas evidentes: ningún grupo
User-agent;Disallow: /para todos los bots; falta el enlace al Sitemap;Crawl-delaymayor que 10; un archivo de más de 500 líneas o de más de 512 KB. - Da una puntuación de 0 a 100 y muestra el archivo original.
Lo que la herramienta no revisa: la sintaxis y los errores tipográficos (una línea con una directiva mal escrita simplemente se omite); ni si se bloquean CSS, JS o URLs específicas. Compruébalo manualmente con las reglas de abajo o en Search Console.
Errores típicos
| Error | Consecuencia |
|---|---|
Disallow: / para todos los robots | El sitio queda completamente cerrado al rastreo: un error clásico tras migrar desde un servidor de pruebas |
| CSS y JS bloqueados | El robot ve la página de forma distinta a como la ve el usuario y la evalúa peor |
| Intentar eliminar una página del índice mediante robots.txt | No funciona: prohibir el rastreo no equivale a eliminarla del índice, para eso se necesita noindex |
| Sin enlace al sitemap | El robot tarda más en encontrar páginas nuevas |
| Archivos distintos con www y sin www | El comportamiento depende de qué versión se rastree |
Cómo comprobar si una URL está bloqueada
- Encuentra el grupo que se aplica. Un rastreador obedece un solo grupo: el cuyo User-agent coincide de forma más específica con su nombre. Si el archivo tiene un grupo
User-agent: Googlebot, las reglas deUser-agent: *dejan de aplicarse a Googlebot. Google combina varios grupos para el mismo User-agent. - Haz una lista de las reglas que coinciden con el inicio de la ruta de la URL. La coincidencia distingue entre mayúsculas y minúsculas, y la cadena de consulta después de
?forma parte de la URL. - Gana la regla coincidente más larga. Si un Allow y un Disallow que coinciden tienen la misma longitud, Google usa la menos restrictiva: Allow.
- Si no hay ninguna coincidencia, la URL está permitida.
En las rutas funcionan dos caracteres especiales: * coincide con cualquier secuencia de caracteres, incluso vacía, y $ marca el final de la URL.
| Reglas | URL | Resultado |
|---|---|---|
Disallow: /catalog/Allow: /catalog/sale/ | /catalog/sale/shoes | Permitida: la regla Allow es más larga |
Disallow: /*.pdf$ | /files/price.pdf | Bloqueada |
Disallow: /*.pdf$ | /files/price.pdf?v=2 | Permitida: la URL no termina en .pdf |
Disallow: /*?sort= | /shoes?color=red&sort=price | Permitida: sort= no va directamente después de ?; /*sort= es más seguro |
Allow: /pageDisallow: /page | /page | Permitida: misma longitud, gana Allow |
Disallow: /Admin/ | /admin/ | Permitida: las mayúsculas y minúsculas no coinciden |
Disallow: (vacía) | cualquiera | Permitida: una regla vacía no bloquea nada |
Códigos de estado de robots.txt y límites de Google
| Respuesta del servidor para /robots.txt | Qué hace Google |
|---|---|
| 2xx | Lee el archivo y sigue las reglas |
| 3xx | Sigue hasta cinco redirecciones; después lo trata como inexistente (como un 404) |
| 4xx excepto 429 | Lo trata como si no existiera robots.txt: sin restricciones de rastreo |
| 5xx y 429, errores de red | Deja de rastrear el sitio durante las primeras 12 horas mientras reintenta obtener el archivo; luego usa la última copia válida durante un máximo de 30 días; después depende de si el sitio está disponible por otros motivos |
La conclusión menos obvia: un robots.txt que devuelve 500 por error es más peligroso que no tener archivo: un 404 significa "rastrea todo", mientras que un 5xx detiene el rastreo. Dos límites más de la documentación de robots.txt de Google: Google lee como máximo 500 KiB del archivo e ignora el resto, y normalmente guarda el contenido en caché hasta 24 horas, por lo que los cambios no se aplican al instante.
Directivas en las que no debes confiar
Algunas líneas que se ven en archivos ajenos son ignoradas por los robots modernos o se interpretan de forma distinta: el retraso de rastreo, la indicación del espejo principal, los patrones de direcciones no estándar. Google admite oficialmente un conjunto limitado de directivas; todo lo demás no funciona o lo interpretan de forma diferente los distintos buscadores. Por eso, cuanto más corto y simple sea el archivo, más predecible será el resultado.
robots.txt y bots de IA
Los servicios de IA rastrean con sus propios bots, y puedes bloquearlos en robots.txt de la misma forma: con grupos User-agent separados: GPTBot, ClaudeBot, PerplexityBot y otros. Google-Extended no es un rastreador independiente sino un token: controla si tu contenido se usa para los modelos de IA de Google y no afecta a la Búsqueda normal. No los confundas: bloquear el entrenamiento y bloquear la búsqueda con IA son bots distintos, y bloquearlo todo puede sacarte de las respuestas de los asistentes de IA. Encontrarás bloques listos para usar y lo que te cuesta cada uno en cómo bloquear bots de IA en robots.txt, y el generador de robots.txt crea un archivo con los grupos que elijas.
Archivo mínimo funcional
En la mayoría de los sitios basta con abrir todo, cerrar las secciones de servicio, la papelera y los resultados de la búsqueda interna, y luego indicar el sitemap. Todo lo demás, según la necesidad. Después de hacer cambios, comprueba que las páginas necesarias sigan accesibles: verificador de indexación y en Search Console.
Comprobaciones relacionadas
Al mismo tiempo, conviene revisar el sitemap y la diferencia entre noindex, nofollow y robots.txt: estas tres cosas suelen confundirse.
