Análisis de logs del servidor para SEO
El análisis de logs es el examen de los registros del servidor web que guardan cada solicitud al sitio, incluidas las de los bots de búsqueda. Es la única fuente que muestra lo que el bot hizo realmente, y no lo que indican los informes resumidos.
Qué solo se ve en los logs
- Qué páginas rastrea el bot con más frecuencia, y si está malgastando presupuesto en páginas sin valor.
- Qué páginas importantes no ha visitado en meses.
- Qué códigos de respuesta recibe: 404, 500, cadenas de redirecciones.
- Cuánto tardó el servidor en responder específicamente al bot.
- Si alguien no autorizado se hace pasar por un bot.
Cómo es el proceso
- Toma los logs de dos a cuatro semanas: normalmente son archivos access.log en el servidor.
- Filtra las solicitudes de los bots de búsqueda por user-agent y verifícalas con los rangos de direcciones oficiales: la suplantación es frecuente.
- Agrupa por secciones del sitio y observa cómo se distribuye el rastreo.
- Compara con la lista de páginas que son importantes para ti.
- Quita del rastreo lo que no debería estar: filtros, ordenamientos, direcciones de servicio.
| Hallazgo en los logs | Qué suele significar |
|---|---|
| La mitad del rastreo son páginas de filtros | La navegación facetada consume el crawl budget |
| El bot visita direcciones antiguas | Quedaron enlaces a redirecciones dentro del sitio |
| Muchas respuestas 5xx al bot | El servidor no soporta el rastreo: las posiciones pueden bajar |
| Una sección importante no ha sido visitada | Tiene pocos enlaces internos |
Con qué reemplazarlos si no hay logs
En parte, con el informe de indexación de Search Console: muestra el estado de las páginas y los motivos de exclusión. No sustituye a los logs, pero permite encontrar la mayoría de los problemas típicos sin acceso al servidor.
El crawl budget en palabras simples
El crawl budget es la cantidad de páginas que el bot está dispuesto a rastrear en el sitio durante un período. Depende de qué tan rápido responde el servidor y de cuánto valor le otorga el buscador al sitio. No puedes aumentarlo directamente, pero sí puedes dejar de desperdiciarlo: elimina del rastreo los duplicados, las direcciones de servicio y las combinaciones interminables de parámetros.
Una señal práctica de presupuesto insuficiente es que las páginas nuevas no se indexan durante semanas, aunque técnicamente todo esté bien con ellas.