¿Qué es y cómo se hace un análisis de logs?

Hoy en Escuela Wired Optimización toca hablar de los análisis de logs: qué son, cómo se hacen, y las razones por las que son útiles para analizar el SEO de cualquier web.

Es uno de los métodos más eficaces para ver cómo los bots de los motores de búsqueda rastrean una web y, por tanto, ver cómo se puede mejorar parte del SEO On-Site de un sitio web.

Pero vayamos contando el proceso paso a paso.

¿Qué son los logs?

Básicamente, los logs son ficheros que registran toda la actividad que ha recibido el servidor en el que se aloja una web. Los logs tienen la información sobre las peticiones que ha recibido una web.

En otras palabras, cada vez que una persona (un eventual cliente) o un bot quieren acceder a una web (en palabras más técnicas: hacen una petición al servidor), los logs nos dicen casi toda la información sobre ese intento de acceso: la IP desde la que se trata de acceder, a qué parte de la web trataron de acceder, el código de respuesta que les envió el servidor, etc.

En lo que al SEO más le importa de los logs es que aportan información sobre cómo los robots de Google (o los de otros motores de búsqueda) rastrean una web. Con esa información, se puede estudiar el comportamiento de los bots de los motores de búsqueda a la hora de crawlear una web.

¿Cómo es un log?

Una línea de código de un fichero log se podría ver de una manera muy parecida a esta que ponemos a modo de ejemplo:

66.278.65.87 – – [21/May/2018:09:36:00 +0200] «GET /equipo/prueba/ HTTP/1.0» 200 1382 «-» «Mozilla/5.0 (compatible; Googlebot/2.1; +hcp://www.google.com/bot.html)

Descomponiendo esta línea de código, podemos identificar cada una de sus partes y ver qué tipo de información dan:

1. 278.65.87: esto es la IP de quien hace la petición de acceso a alguna parte de una web.
2. [21/May/2018:09:36:00 +0200]: en este punto podemos ver la fecha, la hora y el huso horario en el que se hace la petición.
3. GET: en esta parte, se indica el tipo de petición HTTP que se le envía al servidor. Aquí lo más común es que aparezca GET, pero podrían aparecer otros tipos de peticiones HTTP, como HEAD, PUT, POST, etc.
4. /equipo/prueba/: en este apartado se ve el recurso al que se solicita el acceso en dicha petición al servidor.
5. HTTP/1.0: este es protocolo que utiliza el cliente.
6. 200: aquí se ve el código de respuesta que ha emitido el servidor hacia esa petición. Si se ha emitido un código del tipo 2xx como ocurre en este ejemplo, significa que el contenido se ha servido correctamente. Si emite otro tipo de respuesta, debemos de revisar si hay algo mal en la web o en el servidor donde se aloja la web.
7. 1382: esta parte nos da información sobre el origen del cliente que hace esa petición.
8. Mozilla/5.0 (compatible; Googlebot/2.1; +hcp://www.google.com/bot.html: en este apartado se ve el navegador que utiliza el cliente.

¿Cómo se pueden utilizar para el SEO?

Con toda esta información, podemos analizar parte del SEO On-Site de una web, sobre todo en cuánto a la rastreabilidad de un sitio web por parte de los motores de búsqueda como Google.

Algunos de los aspectos SEO de una web que se pueden visualizar gracias a un análisis de logs son:

-Ver las URLs de la web que rastrean los motores de búsquedas, y las URLs que son rastreables. Es importante crawlear primero antes de ver esto en un análisis de logs, ya que es mejor tener algo con lo que comparar. Si hay diferencia entre lo que se crawlea y lo que aporta el análisis de logs, significa que los motores de búsquedas no están rastreando todo lo que deben.

-Saber los códigos de respuesta que emite el servidor ante cada una de las URLs. Como ya se mencionó anteriormente, sería ideal que todas las URLs emitiesen una respuesta de tipo 2xx, pero casi siempre suelen estar presentes algunas URLs que emiten alguno de los otros códigos de respuesta (3xx, 4xx, 5xx), por lo que es necesario conocerlas para evaluar el estado de las URLs de nuestra web.

-La frecuencia de rastreo de los bots por nuestra web y cuáles son las URLs que más se rastrean. Con ello, podemos hacer una comparativa con las URLs que son importantes para uno y ver si son las mismas o no. De no ser así, se ha de revisar si se están enviando las señales adecuadas para los motores de búsqueda o no.

–URLs de tipo “parche” o URLs que no queremos que se indexen pero que sí queremos que estén visibles en la web debido a que ofrecen algún tipo de servicio al usuario: redirecciones, canonicalizaciones, no indexables, etc.

Herramientas para hacer análisis de logs

En el mercado hay muchas herramientas para poder analizar logs. Nosotros hemos probado la herramienta de Screaming Frog llamada Log Analyzer. Sí, de Screaming Frog, de los mismos que el famoso programa de crawleado.

De la misma manera que ocurre con el programa de crawleado, existe una versión gratuita con funcionalidades limitadas de este analizador de logs. En la versión gratuita de este programa, hay espacio para un único proyecto y 1000 líneas de código, algo que está muy bien para una única web muy pequeña, pero no para el resto de las webs y situaciones, en donde es mejor pagar la licencia anual.

Cómo monitorizar logs

Utilizando el citado programa Log Analyzer de Screaming Frog, explicamos paso a paso cómo hacer un análisis de logs:

1. Obtener el archivo de logs del servidor.
2. Abrir la herramienta e insertar el archivo de logs.
3. Darle un nombre al proyecto y elegir la Timezone (huso horario).
4. Introducir el nombre completo de dominio del sitio web, incluyendo el https://
5. Ver los datos que ofrece el log de registro. En este paso deberás seleccionar el robot que quieras analizar y el periodo de tiempo de registro.
6. Seleccionar las vistas.

Respecto a este último punto, veamos que tipos de vistas existen en Log Analyzer:

• Overview: Aquí se ofrece una visión general de todos los datos que ofrece el registro de logs.
• URLs: en esta vista se muestran las URLs que han tenido interacción.
• Response Codes: Aquí se muestran los códigos de respuesta que emiten las URLs que han tenido interacción.
• Events: Muestra los eventos que se han generado.
• Imported URL Data: En esta vista, se pueden importar archivos CSV o Excel con cualquier dato que contenga un encabezado y una columna de URL. Por ejemplo, se puede importar un sitemap del sitio o exportar “páginas principales” obtenidas mediante otros programas.

Ahora ya sabes qué son logs y porqué son tan importantes para el SEO de una web. Como has podido ver, analizar los logs te ayudará a que los motores de búsqueda entiendan mejor tu web y  vayan cada vez indexando más páginas de tu web. ¿A qué esperas para hacer un análisis de logs en tu web?