HeyMark
Contenido

Blog

Robots.txt: qué es, ejemplo y qué puede bloquear

3 min de lectura

Robots.txt es un archivo público que indica a los rastreadores qué rutas de un sitio pueden solicitar. Sirve para gestionar el rastreo. Una regla que impide leer una página puede dejar su dirección visible en Google si el buscador la conoce por otros enlaces. Para retirar una página de los resultados hay que evaluar la indexación; para proteger información hace falta controlar el acceso.

Un ejemplo de robots.txt explicado

Supongamos que una tienda tiene una sección pública de productos y un buscador interno que genera muchas combinaciones de resultados. Este archivo ilustrativo pide a los rastreadores que lo respetan que eviten las rutas del buscador:

User-agent: *
Disallow: /buscar/

Sitemap: https://www.example.com/sitemap.xml

User-agent: * identifica el grupo general de rastreadores. Disallow: /buscar/ restringe ese prefijo de ruta; no bloquea automáticamente /productos/. La última línea señala dónde está el sitemap. example.com y las rutas son ficticios: antes de adaptar una regla, comprueba qué direcciones genera tu sitio y qué páginas dependen de ellas.

El archivo se sirve en la ruta /robots.txt de la raíz del host. En el dominio ilustrativo https://www.example.com, esa es la ubicación que debes revisar. Si también tienes una tienda en otro subdominio, revisa su propio archivo. Subir un documento a /blog/robots.txt no establece las reglas generales del host. La documentación de Google sobre robots.txt explica su alcance y sus límites.

Qué cambia si escribes Disallow: /

En el grupo anterior, Disallow: / pide evitar todas las rutas de ese host. Puede ser una restricción deliberada en un entorno de trabajo, pero copiarla a producción impediría a los rastreadores que la cumplen leer el contenido público. Si una página importante deja de rastrearse tras una publicación, compara el archivo actual con el anterior y revisa el grupo aplicable al rastreador.

También conviene comprobar los recursos necesarios para entender la página. Bloquear sin criterio imágenes, CSS o JavaScript puede alterar lo que Google consigue renderizar.

Elegir entre robots.txt, noindex y acceso privado

Lo que necesitas Qué revisar
Evitar rastrear combinaciones sin valor del buscador interno Reglas para esas rutas, después de revisar enlaces y contenido afectado
Mantener una página pública fuera de Google Directiva noindex que el rastreador pueda leer
Restringir documentos de clientes Autenticación y autorización en el servidor
Ayudar a descubrir páginas públicas Enlaces internos y sitemap

Si bloqueas el rastreo y añades noindex a la misma página, Google puede quedar sin acceso a la instrucción que necesitas que lea. Su documentación sobre noindex especifica esa condición. Tampoco pongas rutas sensibles en robots.txt esperando ocultarlas: cualquier persona puede abrir el archivo y los bots pueden ignorarlo.

Qué comprobar antes de dar una regla por buena

Abre el archivo publicado, identifica el host y el grupo que corresponde y prueba una URL que deba seguir accesible y otra que quieras restringir. Comprueba la respuesta del servidor, las directivas de la página y los recursos que necesita. En Search Console, distingue el estado del último rastreo de una prueba actual: una modificación todavía puede no haberse procesado.

Si la duda es por qué una página no aparece en Google, continúa con la diferencia entre rastreo e indexación. Si solo necesitas enumerar las páginas públicas, el sitemap XML resuelve otra parte del trabajo.

Planifica el próximo post en HeyMark.

Guarda la idea, revisa el texto con tu equipo y mira cómo le fue después en las cuentas que conectaste.