Està la meva web bloquejant la IA?

En l'era digital actual, on la intel·ligència artificial (IA) juga un paper fonamental en la recerca d'informació i l'anàlisi de contingut, és crucial assegurar-se que el teu web estigui accessible per als bots dels models de llenguatge (LLMs). Aquests bots, com els d'OpenAI, Google, i d'altres, s'encarreguen de rastrejar i analitzar pàgines web per oferir resultats rellevants en els motors de recerca.

De forma similar a com operen els bots en el procés de SEO, aquests primer troben un contingut, el rastregen, escanegen, classifiquen i emmagatzemen en la seva memòria. En el cas que els resulti de qualitat, aquest serà elegible per aparèixer en les seves respostes.

A partir d'aquí, el que ens hem de plantejar és si ens interessa que la nostra empresa, els seus productes o serveis apareguin en els resultats d'IA. Si la teva resposta és sí, continua llegint. En cas contrari, pots deixar-lo aquí o aprofitar aquest contingut per fer el contrari.

Però vam suposar que ens interessa que la IA rastrege els nostres continguts. I la pregunta que t'estaràs fent és: està el meu web bloquejant l'accés a aquestes eines? Doncs és possible que sí, encara que no ho sàpigues i no ho vulguis.

Com comprovar si la IA pot accedir a la meva web?

1.     Fent servir l'extensió Robots Exclusion Checker

Aquesta extensió és una maravella per detectar URLs que no poden ser indexades per motius variats. Però en aquest cas, a més, va a comprovar si estem bloquejant els 14 bots d'IA més habituals mitjançant robots.

2.     Amb LLMPulse

Aquesta eina de GEO, que hem esmentat en alguna altra ocasió, ve amb una petita eina anomenada "Robots.txt checker", que ens donarà llum. Aquesta és molt més completa, ja que analitza 20 bots i ens dona detalls sobre si el bloqueig és total o parcial, i on localitzar-lo. Aquest exemple és d'un client real, i és un drama (de fàcil solució).

3.     Amb AEO Checker

Aquesta és una eina lliure de GEO que està prou bé. Ens dona molta informació addicional a més de la que veiem aquí, però aquesta te la dona de forma exhaustiva. Mesura 23 bots i dona tot luxe de detalls.

4. Mètodes addicionals

Hem esmentat aquests 3 perquè són senzills, accessibles i molt intuïtius. Ara bé: si la majoria de bloquejos a la IA provenen de configuracions de robots.txt, no sempre és així. En ocasions, el bloqueig pot venir per un ens superior, normalment un servidor amb moltes capes de seguretat o amb prevenció contra atacs, o un CDN recelós de determinades consultes (especialment Cloudflare).

En aquests casos et recomanem fer servir l'AI Bots Testing Tools de Techincal SEO. En aquest cas no només ha de comprovar si el robots.txt ens bloqueja. Va a emular ser un agent d'IA, i va a veure la resposta del nostre servidor i l'accés al contingut. Pot donar algun fals positiu, però encara no hem vist un fals negatiu. Paradoxalment, fent aquest post hem detectat que Claude no hi podia accedir:

Addicionalment, pots fer el següent:

• Revisar la configuració del teu CDN
• Consultar amb el teu servei de hosting si estan aplicant alguna regla restrictiva que pugui afectar
• Realitzar comprovacions empíriques: pídele al teu assistent que accedeixi a una URL del teu lloc web i la processi. Si et diu que no pot, mal anem
• Emular ser un bot d'IA, mitjançant navegador o eines com Screaming Frog, per provar d'accedir al contingut
• Si tens temps, coneixements i permisos d'accés, pots accedir als logs del servidor, creuar pels bots d'IA que t'interessin, i sabràs: quins et visiten amb quina freqüència i si estem bloquejant l'accés a alguns d'ells

L' accés és necessari però no suficient

Com comentàvem a l'inici, el camí cap al GEO comença perquè els bots d'IA com ChatGPT puguin accedir al teu lloc web. Aquest pas és imprescindible, però necessitaràs molt més per assolir la desitjada citació o menció. 

Però l'accés als bots d'IA és només el primer pas. Un cop hagis permès aquest accés, és essencial treballar en l'optimització del teu contingut, l'estructura del lloc i altres aspectes tècnics per millorar la classificació en els resultats d'IA. Bàsicament el motor del GEO és fer SEO, però SEO del bo i amb un enfocament orientat als LLMS.

Si ja has obert la porta a la IA, has fet un primer pas importantíssim. Abordarem en altres posts el que ve després ;)