Com desindexar un URL de Google?

El bot d'indexació de Google és incansable, i el seu coneixement i seguiment ens serà clau per al nostre posicionament SEO. En pràcticament un sol dia podem incorporar un nou lloc web al seu índex si fem les coses correctament. Però, ¿i si el que volem és eliminar un URL d'aquest mateix índex?

En ocasions, la fiabilitat de l'aranya de rastreig del cercador pot actuar en la nostra contra, afegint pàgines a l'índex de Google que no volem que apareguin entre els resultats de recerca, com per exemple un article publicat amb un enllaç erroni, un e-commerce que genera infinites URL a causa dels filtres del catàleg, o un lloc web en desenvolupament.

Què podem fer davant d'aquestes situacions? Anem a veure les diferents opcions que tenim per desindexar un URL de Google.

Eina Eliminar URL de Search Console

Google ofereix a la seva eina per a administradors web Search Console una opció per eliminar URL de l'índex del seu propi cercador. Trobareu l'opció sota el menú "Índice" de Google. En ella, podreu introduir URLs d'una en una i escollir si voleu eliminar-les dels resultats de cerca, de la memòria cau o ambdues coses. A més, inclou la possibilitat d'eliminar totes les pàgines sota un mateix directori o un domini complet.

Un cop envieu una adreça, aquesta passarà a l'estat "Pendent". En unes poques hores, si tot va bé, el seu estat passarà a "Eliminada". També hi ha la possibilitat que us deneguin aquest canvi, tot i que no és habitual. Un cop eliminada, tindreu l'opció de revertir els canvis per si haguéssiu eliminat alguna pàgina per error.

Etiqueta Meta Robots amb valor noindex

La incorporació de l' etiqueta Meta Robots al codi HTML  d'una pàgina amb el valor noindex ens permet indicar als cercadors, entre ells Google, que aquesta no ha de ser indexada. En tractar-se d'una indicació de tipus directiva, Google hauria eliminar aquesta pàgina del seu índex (o no incorporar-la si encara no l'havia detectat).

Aquesta directiva també pot implementar a través de la capçalera HTTP X-Robots-Tag.

Etiqueta Canonical

Si la pàgina que volem eliminar de l'índex correspon a un duplicat o variació d'una URL existent, podem utilitzar l' etiqueta Canonical  per eliminar la versió que no ens interessi indexar.

A diferència del cas anterior, l'etiqueta Canonical no és una directiva, de manera que Google pot optar per ignorar-la. A més, la seva funció original no està directament vinculada a eliminar URL de l'índex. També podem implementar-la a través de capçaleres HTTP.

Disallow en robots.txt

En aquest cas es tracta d'una mesura preventiva, que no ens servirà per eliminar pàgines de l'índex, però ens permetrà evitar que futures URL s'indexin. A l'arxiu robots.txt podem especificar que el bot de Google no accedeixi a certes pàgines, carpetes, rutes, tipus d'arxiu, etc., fent que sigui incapaç d'incorporar-les a l'índex.

Codis de resposta HTTP

Alguns codis de resposta HTTP poden, a la llarga, provocant la desindexació d'una URL concreta. Una pàgina redirigida mitjançant un codi 301 o que presenti un codi d'error 410, indiquen a Google que hi ha hagut un canvi permanent a la URL.

Hi ha altres mecanismes que poden provocar la desindexació d'una URL, però aquests són els més comuns i que poden produir efectes més immediats, principalment l'eina de Eliminar URL de Google i l'etiqueta Meta Robots amb el valor noindex. Si teniu algun dubte en relació a la indexació de Google o qualsevol altra qüestió relacionada amb el posicionament SEO, no dubteu a contactar amb nosaltres.

Altres formes

Existeixen altres mecanismes que poden provocar la desindexació d'una URL, però aquests són els més comuns i els que poden produir efectes més immediats, principalment l'eina d'Eliminar URLs de Google i l'etiqueta Meta Robots amb el valor noindex. Si teniu algun dubte en relació a la indexació de Google o qualsevol altra qüestió relacionada amb el posicionament SEO, no dubteu a contactar amb nosaltres.

Errors comuns en desindexar

A continuació us mencionem els errors més comuns en voler desindexar una pàgina del vostre web, són els següents:

• Usar només Disallow en robots.txt sense noindex.

• Eliminar la pàgina del servidor sense redirecció ni codi 410.

• Confondre desindexar amb eliminar del servidor.

• No revisar si Google segueix mostrant la URL després de diversos dies.

Com saber quines URLs s'han de desindexar del vostre web?

Abans de posar-vos a desindexar pàgines del vostre lloc web a Google, és convenient analitzar quines pàgines us estan restant valor. A continuació us exposem les formes més habituals de poder detectar-ho:

A través de Google Search Console

En l'apartat d'indexació, dins de l'eina, podreu detectar aquelles URLs que estan indexades, excloses o amb errors. A més, Search Console us dóna avisos de pàgines "Duplicades sense etiqueta canonical" o "Rastrejades sense indexar". A través d'aquests llistats podeu començar a classificar URLs amb poc valor que estan indexades, fins i tot el contrari, alguna pàgina important del vostre web que encara no ha indexat.

Google Analytics

Google Analytics també pot ser una eina molt útil per a identificar URLs sense visites o amb un alt percentatge de rebot. Per aquests motius, si aquestes pàgines no generen trànsit ni conversions i tampoc aporten valor al web, poden ser candidates per forçar-ne una desindexació.

Amb Screaming Frog

A través d'eines com Screaming Frog podeu detectar pàgines orfes, duplicades, sense enllaços interns o, fins i tot, amb poc contingut. Totes aquestes propietats que mencionem que pot tenir qualsevol pàgina del vostre web són claus per poder decidir si és convenient la seva desindexació.

Eines com Ahrefs, SemRush, DinoRank...

Aquest tipus d'eines també us poden ajudar a detectar aquelles pàgines poc rellevants del vostre web, continguts que es canibalitzen, etc. Tota la informació que pugueu extreure a través d'aquestes eines és clau per prendre la decisió de desindexar una URL del vostre lloc web. Com s'ha mencionat, aspectes com pàgines amb poc contingut i valor, possibles duplicats, pàgines que generen URLs infinites... són motius per intentar desindexar de Google.

Preguntes freqüents sobre desindexació

Quant triga Google a desindexar una URL?

Varia segons la freqüència de rastreig del lloc. Normalment entre 1 i 15 dies.

Una URL desindexada pot tornar a aparèixer a Google?

Sí, si no apliqueu correctament les etiquetes noindex, redireccions o capçaleres adequades.

Quin mètode és el més recomanable?

Depèn del cas. Si és una pàgina obsoleta, el noindex o una redirecció solen ser la millor opció. Per a contingut sensible, Search Console és més ràpid.

Aplicar desindexacions afectarà negativament el posicionament SEO general del web?

No, si la desindexació té sentit dins del web. El fet de desindexar una URL que està duplicada, que ofereix contingut de baixa qualitat o que genera problemes de rastreig, ajudarà a millorar la qualitat general del web als ulls de Google.

S'ha d'eliminar la URL del sitemap del web després de desindexar-la?

Sí, el més correcte seria eliminar la URL del sitemap, ja que la funció principal d'aquest arxiu és mostrar a Google quines URLs ha de rastrejar i indexar del vostre web.