Tu web tiene buen diseño y textos cuidados, pero Google no indexa varias páginas importantes. Puede que tu sitemap XML esté desactualizado, tu robots.txt esté bloqueando URLs sin querer o nunca hayas enviado el mapa del sitio a Search Console. Sin una base técnica clara, pierdes visibilidad antes de competir por contenido o enlaces.
Te explicamos qué son el sitemap XML y el robots.txt, cómo configurarlos en una web de empresa y qué errores evitar para que Google encuentre e indexe tus páginas correctamente.
Qué es un sitemap XML y para qué sirve
Un sitemap XML es un archivo que lista las URLs de tu web que quieres que los buscadores conozcan. No garantiza la indexación, pero facilita el descubrimiento, sobre todo en sitios nuevos, con muchas páginas o con una estructura de enlaces internos pobre.
En una web de empresa suele incluir la home, servicios, casos de éxito, blog, contacto y landings activas. Cada entrada puede indicar la fecha de última modificación, la frecuencia de cambio y la prioridad relativa.
- Facilita el rastreo cuando Google no llega a ciertas secciones por enlaces internos.
- Acelera el descubrimiento de páginas nuevas (entradas de blog, nuevos servicios).
- Complementa tu SEO on-page: sin sitemap bien montado, meta títulos y contenido de calidad pierden impacto.
Qué es robots.txt y cómo influye en la indexación
El archivo robots.txt vive en la raíz de tu dominio (tudominio.com/robots.txt) e indica a los rastreadores qué rutas pueden o no visitar. Es una directiva de cortesía: los bots de búsqueda serios la respetan, pero no sustituye a la seguridad ni oculta contenido sensible.
En webs corporativas se usa para:
- Bloquear áreas privadas (panel de administración, entornos de prueba).
- Evitar el rastreo de URLs con parámetros duplicados o filtros de catálogo.
- Indicar la ubicación del sitemap con la directiva
Sitemap:.
Importante: bloquear una URL en robots.txt no la elimina del índice si ya está indexada o si tiene enlaces externos. Para eso necesitas noindex o redirecciones.
Sitemap y robots.txt: no son lo mismo
Confundirlos es habitual. Resumen práctico:
- Sitemap XML → «Estas son las páginas que quiero que conozcas».
- robots.txt → «Estas rutas no las rastrees» (o rastrea con límites).
Un error clásico: bloquear /blog/ en robots.txt y luego preguntarse por qué los artículos no aparecen en Google. Otro: tener un sitemap con URLs que robots.txt prohíbe rastrear.
Cómo crear y mantener un sitemap XML en tu web de empresa
Antes de generar el archivo, define qué páginas aportan valor comercial o de marca. No incluyas URLs de agradecimiento, versiones de prueba, páginas con noindex o duplicados de parámetros UTM.
Pasos recomendados:
- Audita tu arquitectura: home, servicios, contacto, blog, landings y páginas legales indexables.
- Genera el XML con tu CMS, plugin SEO o script del desarrollador. En sitios grandes, usa sitemaps index que agrupan varios archivos.
- Excluye lo innecesario: admin, búsquedas internas, URLs de sesión y thank-you pages.
- Actualízalo al publicar: cada nueva entrada de blog o servicio debe entrar en el sitemap automáticamente.
- Valida el formato con las herramientas de Search Console o validadores XML.
Si tienes web multilingüe, cada idioma puede tener su propio sitemap o un índice que los agrupe. Asegúrate de que las URLs canónicas y las etiquetas hreflang estén alineadas.
Robots.txt: directivas que debes conocer
Un robots.txt mínimo para una empresa podría ser:
User-agent: *
Disallow: /admin/
Disallow: /api/
Allow: /
Sitemap: https://www.tudominio.com/sitemap.xmlDirectivas útiles:
User-agent: *— aplica a todos los bots (puedes crear reglas específicas para Googlebot).Disallow: /ruta/— bloquea el rastreo de esa ruta.Allow: /ruta/publica/— excepción dentro de una ruta bloqueada.Sitemap:— URL absoluta de tu sitemap principal.
Revisa robots.txt cada vez que lances una sección nueva, un subdominio o un entorno staging indexable por error.
Cómo enviar tu sitemap a Google Search Console
Tener el archivo en tu servidor no basta: conviene registrarlo en Google Search Console.
- Verifica la propiedad de tu dominio en Search Console.
- Ve a Sitemaps en el menú lateral.
- Introduce la ruta relativa (
sitemap.xmlositemap_index.xml). - Envía y monitoriza errores: URLs bloqueadas, 404, redirecciones o páginas con noindex.
Combina esto con el informe de Páginas para ver qué URLs están indexadas, excluidas o con problemas de rastreo.
Errores frecuentes en webs de empresa
- Sitemap desactualizado tras un rediseño o cambio de URLs sin redirecciones 301.
- robots.txt demasiado restrictivo que bloquea CSS, JS o secciones públicas.
- Incluir URLs con noindex en el sitemap (señales contradictorias).
- Olvidar el sitemap en robots.txt o apuntar a una URL incorrecta.
- No revisar tras migraciones: dominio nuevo, HTTPS forzado o cambio de estructura de blog.
- Duplicar sitemaps en plugins SEO sin limpiar el anterior.
Si usas datos estructurados Schema y enlaces internos bien planteados, el sitemap refuerza un SEO técnico coherente; no lo sustituye.
Checklist rápido de indexación técnica
Antes de publicar una nueva sección o tras un rediseño, revisa:
- ¿Existe
/sitemap.xmlaccesible y devuelve 200? - ¿robots.txt incluye la directiva
Sitemap:con URL absoluta? - ¿Las páginas importantes están en el sitemap y no bloqueadas en robots.txt?
- ¿Search Console muestra el sitemap como «Correcto»?
- ¿Las URLs del sitemap coinciden con las canónicas publicadas?
- ¿Las páginas nuevas del blog entran automáticamente al publicar?
Conclusión: la indexación es la base de tu SEO
El sitemap XML y el robots.txt no son detalles de desarrollador: son la base para que Google descubra tu propuesta de valor, tus servicios y tu contenido. Configúralos bien, revísalos tras cada cambio estructural y monitoriza Search Console con regularidad.
Si quieres una auditoría técnica de tu web —sitemap, robots, indexación y rendimiento— cuéntanos tu proyecto y te ayudamos a corregir lo que frena tu visibilidad.
