Crawling: qué es y cómo afecta al SEO

Tras un último año en el que el concepto crawl budget ha pasado a formar parte del diccionario de todo  SEO y ha motivado artículos y conferencias, como la del último Clínic SEO realizado en Barcelona, el 2018 arranca con el crawling como tendencia SEO.

Pero, ¿por qué hemos pasado a darle tanta importancia a este campo del SEO? ¿Afecta realmente al posicionamiento en buscadores? Vamos a aportar algo de luz sobre el crawling y su incidencia como variable para el ranking de posiciones en Google.

¿Qué es el crawling en SEO?

El crawling o rastreo de sitios web es el recorrido que hace un pequeño bot de software (un crawler) para leer y analizar el código y contenido de una web, saltando de página en página a través de los enlaces que va encontrando. En el caso del GoogleBot (el crawler de Google), este se encarga de rastrear y examinar nuestras webs, para posteriormente incorporarlas a su índice.

Pero el crawling no es monopolio del todopoderoso buscador. Además de ser utilizado por sus competidores para fines similares, también contamos con herramientas para realizar un rastreo de un sitio web para la detección de errores o su optimización SEO.

¿Cómo realiza Google el crawling de las webs?

En primer lugar, Google deberá conocer de la existencia de nuestra web y de su disponibilidad para que el crawler realice el proceso de rastreo e indexación de la misma. Para ello, contamos con diferentes opciones, siendo las más habituales la creación de un enlace externo hacia el sitio web en cuestión o el alta en la plataforma Search Console, entre otras.

Pasado este punto, el crawler de Google empezará el proceso de rastreo del portal, accediendo a todas las páginas a través de los distintos enlaces internos que hayamos creado. También puede beber de otras fuentes para encontrar una página o sección de nuestra web, como su existencia en un archivo Sitemap que hayamos dado de alta en Search Console.

El Crawl Budget y cómo afecta al SEO

El crawler de Google no existe únicamente para rastrear nuestra web. Dada la presencia de millones de portales en Internet, los recursos que puede destinar el GoogleBot a un sitio web son limitados. De aquí nace el concepto de Crawl Budget (presupuesto de rastreo en su traducción literal del inglés), el tiempo y esfuerzo que dedicará el GoogleBot a intentar leer y analizar las páginas de un sitio web.

Si el crawler de Google no es capaz de leer una página, éste no conocerá de su existencia o contenidos y será incapaz de incorporarla a su índice. Y no incorporarla al índice implicará no aparecer en las páginas de resultados del buscador y no participar del ranking de posiciones.

Por tanto, el crawling cobra importancia en el posicionamiento orgánico en buscadores en la medida de que es el primer paso para que Google pueda analizar nuestra web y sus diferentes páginas, para posteriormente añadirlas a su índice.

¿Y qué factores pueden afectar negativamente a nuestro Crawl Budget? Todos aquellos problemas o limitaciones que hagan gastar más tiempo y recursos al bot de Google, como por ejemplo:

• Un alto tiempo de respuesta del servidor
• Velocidad de carga de recursos excesivos
• Presencia de errores de código 4xx o 5xx
• Páginas aisladas o de difícil acceso

Además, existen otros factores que determinarán el presupuesto de rastreo, como la autoridad de nuestro sitio web.

Seguro que durante este 2018 seguirán apareciendo novedades en relación al rastreo de webs, al crawl budget y otros elementos del posicionamiento SEO, y desde La Teva Web, Agencia SEO en Barcelona os mantendremos al día de las mismas.