Després d'un últim any durant el qual el concepte crawl budget ha passat a formar part del diccionari de tot
SEO i ha motivat articles i conferències, com la de l'últim Clínic SEO realitzat a Barcelona, el 2018 arrenca amb el
crawling com a tendència SEO.
Però, per què hem passat a donar-li tanta importància a aquest camp del SEO?
Afecta realment al posicionament en cercadors? Anem a aportar una mica de llum sobre el crawling i la seva incidència com a variable per al rànquing de posicions a Google.
Què és el crawling en SEO?
El crawling o rastreig de llocs web és el
recorregut que fa un petit bot de software (un crawler) per llegir i analitzar el codi i contingut d'una web, saltant de pàgina en pàgina a través dels enllaços que va trobant. En el cas del GoogleBot (el crawler de Google), aquest s'encarrega de rastrejar i examinar els nostres webs, per a posteriorment incorporar-los al seu índex.
Però el crawling no és monopoli del totpoderós cercador. A més de ser utilitzat pels seus competidors per a fins similars, també comptem amb eines per realitzar un rastreig d'un lloc web per a la detecció d'errors o la seva optimització SEO.
Com realitza Google el crawling de les webs?
En primer lloc,
Google ha de conèixer de l'existència del nostre web i de la seva disponibilitat perquè el crawler realitzi el procés de rastreig i indexació de la mateixa. Per a això, comptem amb diferents opcions, sent les més habituals la creació d'un enllaç extern cap al lloc web en qüestió o l'alta a la plataforma Search Console, entre d'altres.
Passat aquest punt,
el crawler de Google començarà el procés de rastreig del portal, accedint a totes les pàgines a través dels diferents enllaços interns que haguem creat. També pot beure d'altres fonts per trobar una pàgina o secció del nostre web, com la seva existència en un arxiu Sitemap que haguem donat d'alta a Search Console.
El Crawl Budget i com afecta el SEO
El crawler de Google no existeix únicament per rastrejar la nostra web. Donada la presència de milions de portals a Internet,
els recursos que pot destinar el GoogleBot a un lloc web són limitats. D'aquí neix el concepte de
Crawl Budget (pressupost de rastreig en la seva traducció literal de l'anglès), el temps i esforç que dedicarà el GoogleBot a intentar llegir i analitzar les pàgines d'un lloc web.
Si el crawler de Google no és capaç de llegir una pàgina, aquest no coneixerà de la seva existència o continguts i serà incapaç d'incorporar-la al seu índex. I no incorporar-la a l'índex implicarà no aparèixer en les pàgines de resultats del cercador i no participar del rànquing de posicions.
Per tant,
el crawling cobra importància en el posicionament orgànic en cercadors en la mesura que és el primer pas perquè Google pugui analitzar la nostra web i les seves diferents pàgines, per posteriorment afegir-les al seu índex.
¿I quins
factors poden afectar negativament al nostre Crawl Budget? Tots aquells problemes o limitacions que facin gastar més temps i recursos al bot de Google, com ara:
- Un alt temps de resposta del servidor
- Velocitat de càrrega de recursos excessius
- Presència d'errors de codi 4xx o 5xx
- Pàgines aïllades o de difícil accés
A més, hi ha
altres factors que determinaran el pressupost de rastreig, com l'
autoritat del nostre lloc web.
Segur que durant aquest 2018 seguiran apareixent novetats en relació al rastreig de webs, al Crawl Budget i altres elements del posicionament SEO, i des de La Teva Web,
Agència SEO a Barcelona us mantindrem al dia de les mateixes.
El crawling cobra importància en el seo ja que és el primer pas perquè Google pugui analitzar la nostra web