Crawl budget: qué es, cómo revisarlo y cómo optimizarlo
El crawl budget es el número de URLs de un sitio que un rastreador de buscadores puede y quiere rastrear en un tiempo determinado. Google combina dos partes: el límite de capacidad de rastreo (cuánta carga puede soportar tu servidor) y la demanda de rastreo (cuánto necesita Google rastrear tus páginas). El concepto es práctico: cuanto más grande es el sitio y más lento el servidor, más se nota que el rastreador no llega a todo; los sitios con unos cientos de páginas normalmente no tienen de qué preocuparse.
Cómo define Google el crawl budget
La documentación de Google Search Central describe el crawl budget como el conjunto de URLs que Google puede y quiere rastrear. Combina dos factores:
- Límite de capacidad de rastreo: cuántas conexiones paralelas puede mantener abiertas Googlebot, y con qué retraso, sin sobrecargar tu servidor. Aumenta cuando el sitio responde rápido y disminuye cuando se ralentiza, devuelve errores 5xx o envía señales de limitación de velocidad como HTTP 429.
- Demanda de rastreo: cuánto quiere Google rastrear el sitio en general. Depende del tamaño del sitio, la frecuencia de actualización, la calidad de las páginas y su relevancia en comparación con otros sitios.
La consecuencia clave: aunque tu servidor pudiera soportar más, Google no rastreará más de lo que indique la demanda. Un servidor más rápido ayuda, pero las URLs duplicadas y de poco valor reducen la demanda más de lo que la velocidad puede compensar.
De qué depende
- Velocidad y estabilidad de respuesta. Si el servidor es lento o devuelve errores, el bot reduce su ritmo para no perjudicar al sitio.
- Demanda de rastreo. Las páginas populares y actualizadas con frecuencia se rastrean más a menudo.
- Calidad de la estructura. Las direcciones basura gastan presupuesto que debería ir a páginas útiles.
A quién le debe preocupar el crawl budget
La guía de crawl budget de Google está escrita para tres tipos de sitios:
- sitios grandes con más de 1 millón de páginas únicas cuyo contenido cambia con cierta frecuencia (aproximadamente una vez por semana);
- sitios medianos o grandes con más de 10 000 páginas únicas cuyo contenido cambia muy rápido (a diario);
- sitios con una gran proporción de URLs marcadas en Search Console como "Detectada: actualmente sin indexar".
Si las páginas nuevas de tu sitio se rastrean el mismo día en que se publican, Google dice que no necesitas la guía. Para un sitio de servicios típico o un blog con unos cientos de páginas, la indexación lenta rara vez tiene que ver con el crawl budget; lo habitual es que la causa sea la calidad, los duplicados o la falta de enlaces internos: consulta páginas huérfanas.
Dónde se pierde el presupuesto
| Origen de la pérdida | Qué hacer |
|---|---|
| Filtros y ordenaciones infinitos | Bloquea el rastreo de los parámetros y mantén direcciones canónicas |
| Búsqueda interna del sitio | Bloquea las páginas de resultados |
| Cadenas de redirecciones | Redúcelas a un solo paso: consulta verificación de redirecciones |
| Enlaces rotos | Corrígelos: cómo encontrarlos |
| Duplicados y copias técnicas | Consolídalos con direcciones canónicas |
Qué acelera realmente el rastreo
- Respuesta rápida del servidor. El bot ajusta su ritmo a la carga: cuanto más rápido responde el sitio, más páginas puede rastrear.
- Estructura clara. Una página a tres clics de la página principal se encuentra más rápido que una escondida en lo profundo.
- Sitemap actualizado y un enlace a él en robots.txt.
- Actualizaciones periódicas. Un sitio que cambia se rastrea con más frecuencia.
El informe Estadísticas de rastreo en Search Console
Lo encontrarás en Configuración → Estadísticas de rastreo. Muestra cómo rastreó Googlebot el sitio durante los últimos 90 días: total de solicitudes de rastreo, tamaño total de descarga, tiempo medio de respuesta y estado del host, es decir, si hubo problemas al obtener robots.txt, resolver el DNS o conectarse al servidor. Debajo de los gráficos, las solicitudes se desglosan por código de respuesta, tipo de archivo, finalidad (descubrimiento de URLs nuevas o actualización de las ya conocidas) y tipo de Googlebot.
| Qué revisar | Señal de alerta |
|---|---|
| Tiempo medio de respuesta | Aumenta mientras las solicitudes de rastreo disminuyen: el servidor está limitando el rastreo |
| Estado del host | Errores al obtener robots.txt o al conectarse con el servidor |
| Por respuesta | Una proporción notable de 3xx, 404 y 5xx en lugar de 200 |
| Por finalidad | Casi no hay descubrimiento aunque publicas páginas nuevas con regularidad |
| Por tipo de archivo | Los recursos (scripts, imágenes, JSON) consumen la mayoría de las solicitudes |
Análisis de logs del servidor: lo que solo muestran los logs
Las Estadísticas de rastreo ofrecen un resumen y muestras; los logs del servidor muestran cada solicitud: exactamente qué URL obtuvo Googlebot, con qué frecuencia y qué recibió como respuesta. Un par de comandos para un log de nginx o Apache en el formato estándar:
# response codes Googlebot received
grep -i "googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
# most frequently crawled URLs
grep -i "googlebot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -50Los user agents son fáciles de falsificar, así que verifica que las solicitudes realmente provengan de Google: una búsqueda DNS inversa de la IP debe devolver un nombre de host en googlebot.com o google.com, y una búsqueda directa de ese nombre de host debe devolver la misma IP. Más información en análisis de logs del servidor para SEO.
Cómo saber que se está desperdiciando el presupuesto
- Revisa las estadísticas de rastreo en Search Console: cuántas páginas por día y con qué códigos de respuesta.
- Compara el número de direcciones rastreadas con el número de páginas útiles del sitio.
- Comprueba qué proporción del rastreo se destina a redirecciones y errores.
- Si las páginas útiles se rastrean una vez al mes, mientras que las páginas basura se rastrean a diario, concéntrate en la estructura, no en los enlaces.
Cómo optimizar el crawl budget paso a paso
- Consolida los duplicados con URL canónicas o redirecciones para las variantes con parámetros, con y sin www, y con y sin barra final: consulta URL canónica.
- Bloquea en robots.txt lo que nunca debería rastrearse: filtros infinitos, órdenes de clasificación, búsqueda interna. No uses noindex para esto: Google igualmente solicita la página. Para no bloquear de más, consulta revisión de robots.txt.
- Devuelve 404 o 410 para las páginas eliminadas y elimina los soft 404: páginas de relleno que devuelven 200. Según Google, los soft 404 se siguen rastreando y desperdician presupuesto.
- Elimina las cadenas largas de redirecciones y los enlaces internos hacia URL que redirigen.
- Mantén tu sitemap actualizado: solo URL canónicas que devuelvan 200, con
<lastmod>para las páginas actualizadas. Compruébalo con el analizador de sitemap. - Admite 304 Not Modified para las solicitudes condicionales, de modo que Google pueda reutilizar su copia de las páginas sin cambios en lugar de descargarlas de nuevo.
- Acelera el servidor y vigila las respuestas 5xx y 429: reducen directamente el límite de capacidad de rastreo.
- Compara las Estadísticas de rastreo unas semanas después de los cambios: la proporción de respuestas 200 y de descubrimiento debería aumentar.
Mitos sobre el crawl budget
- "noindex ahorra crawl budget." No: Google solicita la página, ve el noindex y solo entonces la descarta. Un bloqueo en robots.txt sí ahorra rastreo, pero entonces el rastreador nunca ve el noindex. La diferencia se explica en noindex, nofollow y robots.txt.
- "Crawl-delay en robots.txt hará más lento a Googlebot." Google no admite esa regla; ajusta su ritmo según cómo responde tu servidor.
- "Más rastreo significa mejores posiciones." Google ha dicho que una mayor frecuencia de rastreo no conduce por sí sola a mejores posiciones. El rastreo es un requisito previo de la indexación, no un factor de posicionamiento.
- "Los sitios pequeños deben optimizar el crawl budget." Un sitio con unos cientos de páginas se rastrea completo de todas formas.
- "Los bots de IA consumen el crawl budget de Google." El crawl budget se refiere a los rastreadores de Google. Pero cada bot añade carga al servidor, y un servidor lento reduce el límite de capacidad de Googlebot. Si los bots de terceros cargan tu sitio de forma notable, gestiónalos en robots.txt: consulta cómo bloquear bots de IA en robots.txt.