Sitemap XML i robots.txt al teu web d'empresa: com ajudar Google a indexar correctament les teves pàgines

El teu web té bon disseny i textos cuidats, però Google no indexa diverses pàgines importants. Pot ser que el sitemap XML estigui desactualitzat, el robots.txt estigui bloquejant URLs sense voler o que mai hagis enviat el mapa del lloc a Search Console. Sense una base tècnica clara, perds visibilitat abans de competir per contingut o enllaços.

T'expliquem què són el sitemap XML i el robots.txt, com configurar-los en un web d'empresa i quins errors evitar perquè Google trobi i indexi les teves pàgines correctament.

Què és un sitemap XML i per a què serveix

Un sitemap XML és un fitxer que llista les URLs del teu web que vols que els cercadors coneguin. No garanteix la indexació, però facilita el descobriment, sobretot en llocs nous, amb moltes pàgines o amb una estructura d'enllaços interns feble.

En un web d'empresa sol incloure la home, serveis, casos d'èxit, blog, contacte i landings actives. Cada entrada pot indicar la data de darrera modificació, la freqüència de canvi i la prioritat relativa.

• Facilita el rastreig quan Google no arriba a certes seccions per enllaços interns.
• Accelera el descobriment de pàgines noves (entrades de blog, nous serveis).
• Complementa el SEO on-page: sense sitemap ben muntat, meta títols i contingut de qualitat perden impacte.

Què és robots.txt i com influeix en la indexació

El fitxer robots.txt viu a l'arrel del teu domini (elteudomini.com/robots.txt) i indica als rastrejadors quines rutes poden o no visitar. És una directiva de cortesia: els bots de cerca seriosos la respecten, però no substitueix la seguretat ni amaga contingut sensible.

En webs corporatives s'utilitza per:

• Bloquejar àrees privades (panell d'administració, entorns de prova).
• Evitar el rastreig d'URLs amb paràmetres duplicats o filtres de catàleg.
• Indicar la ubicació del sitemap amb la directiva Sitemap:.

Important: bloquejar una URL a robots.txt no l'elimina de l'índex si ja està indexada o té enllaços externs. Per això necessites noindex o redireccions.

Sitemap i robots.txt: no són el mateix

Confondre'ls és habitual. Resum pràctic:

• Sitemap XML → «Aquestes són les pàgines que vull que coneguis».
• robots.txt → «Aquestes rutes no les rastregis» (o rastreja amb límits).

Un error clàssic: bloquejar /blog/ a robots.txt i després preguntar-se per què els articles no apareixen a Google. Un altre: tenir un sitemap amb URLs que robots.txt prohibeix rastrejar.

Com crear i mantenir un sitemap XML al teu web d'empresa

Abans de generar el fitxer, defineix quines pàgines aporten valor comercial o de marca. No incloguis URLs d'agraïment, versions de prova, pàgines amb noindex o duplicats de paràmetres UTM.

Passos recomanats:

1. Audita la teva arquitectura: home, serveis, contacte, blog, landings i pàgines legals indexables.
2. Genera l'XML amb el teu CMS, plugin SEO o script del desenvolupador. En llocs grans, usa sitemaps índex que agrupin diversos fitxers.
3. Exclou el innecessari: admin, cerques internes, URLs de sessió i thank-you pages.
4. Actualitza'l en publicar: cada nova entrada de blog o servei ha d'entrar al sitemap automàticament.
5. Valida el format amb les eines de Search Console o validadors XML.

Si tens web multilingüe, cada idioma pot tenir el seu propi sitemap o un índex que els agrupi. Assegura't que les URLs canòniques i les etiquetes hreflang estiguin alineades.

Robots.txt: directives que has de conèixer

Un robots.txt mínim per a una empresa podria ser:

User-agent: *
Disallow: /admin/
Disallow: /api/
Allow: /

Sitemap: https://www.elteudomini.com/sitemap.xml

Directives útils:

• User-agent: * — s'aplica a tots els bots (pots crear regles específiques per a Googlebot).
• Disallow: /ruta/ — bloqueja el rastreig d'aquesta ruta.
• Allow: /ruta/publica/ — excepció dins d'una ruta bloquejada.
• Sitemap: — URL absoluta del teu sitemap principal.

Revisa robots.txt cada cop que llancis una secció nova, un subdomini o un entorn staging indexable per error.

Com enviar el teu sitemap a Google Search Console

Tenir el fitxer al servidor no n'hi ha prou: convé registrar-lo a Google Search Console.

1. Verifica la propietat del teu domini a Search Console.
2. Ves a Sitemaps al menú lateral.
3. Introdueix la ruta relativa (sitemap.xml o sitemap_index.xml).
4. Envia i monitoritza errors: URLs bloquejades, 404, redireccions o pàgines amb noindex.

Combina-ho amb l'informe de Pàgines per veure quines URLs estan indexades, excloses o amb problemes de rastreig.

Errors freqüents en webs d'empresa

• Sitemap desactualitzat després d'un redisseny o canvi d'URLs sense redireccions 301.
• robots.txt massa restrictiu que bloqueja CSS, JS o seccions públiques.
• Incloure URLs amb noindex al sitemap (senyals contradictòries).
• Oblidar el sitemap a robots.txt o apuntar a una URL incorrecta.
• No revisar després de migracions: domini nou, HTTPS forçat o canvi d'estructura de blog.
• Duplicar sitemaps en plugins SEO sense netejar l'anterior.

Si fas servir dades estructurades Schema i enllaços interns ben plantejats, el sitemap reforça un SEO tècnic coherent; no el substitueix.

Checklist ràpid d'indexació tècnica

Abans de publicar una nova secció o després d'un redisseny, revisa:

• Existeix /sitemap.xml accessible i retorna 200?
• robots.txt inclou la directiva Sitemap: amb URL absoluta?
• Les pàgines importants estan al sitemap i no bloquejades a robots.txt?
• Search Console mostra el sitemap com a «Correcte»?
• Les URLs del sitemap coincideixen amb les canòniques publicades?
• Les pàgines noves del blog entren automàticament en publicar?

Conclusió: la indexació és la base del teu SEO

El sitemap XML i el robots.txt no són detalls de desenvolupador: són la base perquè Google descobreixi la teva proposta de valor, els teus serveis i el teu contingut. Configura'ls bé, revisa'ls després de cada canvi estructural i monitoritza Search Console amb regularitat.

Si vols una auditoria tècnica del teu web —sitemap, robots, indexació i rendiment— explica'ns el teu projecte i t'ajudem a corregir el que frena la teva visibilitat.