Resume este artículo, encuentra los puntos clave o pregunta lo que quieras entender mejor.
Disallow es una regla utilizada dentro del archivo robots.txt para indicar a determinados rastreadores qué URLs o rutas de un sitio no deberían rastrear.
Su función principal es controlar el acceso de bots compatibles a determinadas partes de una web. Puede utilizarse, por ejemplo, para evitar el rastreo de secciones técnicas, espacios generados por filtros o URLs que no necesitan ser visitadas continuamente por los motores de búsqueda.
Sin embargo, existe una diferencia fundamental que conviene entender desde el comienzo. Disallow controla el rastreo, pero no es una herramienta diseñada para impedir que una página aparezca en Google.
Una URL bloqueada mediante robots.txt todavía puede ser conocida por Google a través de enlaces u otras señales y, en determinadas circunstancias, su dirección puede aparecer en los resultados aunque Google no haya rastreado su contenido.
Por eso utilizar correctamente `Disallow` requiere saber qué quieres conseguir antes de modificar el robots.txt.
Qué significa Disallow
La palabra inglesa disallow significa no permitir.
Dentro de robots.txt indica una ruta que el crawler especificado mediante `User-agent` no debería solicitar.
Una regla básica puede escribirse así:
User-agent: *
Disallow: /privado/En este ejemplo la regla se aplica a los crawlers compatibles identificados mediante el asterisco y bloquea el rastreo de URLs ubicadas dentro de:
/privado/Esto no convierte automáticamente esas páginas en privadas ni garantiza que desaparezcan del índice.
Qué es robots.txt
robots.txt es un archivo de texto utilizado para comunicar reglas de rastreo a bots compatibles.
Debe encontrarse en la raíz del host al que se aplica.
Por ejemplo:
https://www.ejemplo.com/robots.txtNo debería colocarse en una dirección como:
https://www.ejemplo.com/blog/robots.txtporque las reglas de robots.txt se leen desde la raíz correspondiente.
Además, las reglas se aplican al protocolo, host y puerto donde se encuentra el archivo.
Esto significa que:
https://www.ejemplo.com/robots.txtno controla automáticamente:
https://tienda.ejemplo.com/si ese subdominio tiene su propia configuración.
Cómo funciona Disallow
Cuando un crawler compatible necesita saber qué puede rastrear dentro de un sitio, consulta las reglas de robots.txt correspondientes.
El archivo puede contener diferentes grupos de reglas.
Cada grupo normalmente comienza identificando un crawler.
User-agent: Googlebot
Disallow: /zona-pruebas/En este caso la regla está dirigida específicamente a Googlebot.
Si se utiliza:
User-agent: *
Disallow: /zona-pruebas/el asterisco representa un grupo general de crawlers compatibles.
Qué hace exactamente una regla Disallow
Una regla `Disallow` indica que el crawler correspondiente no debería solicitar la ruta especificada.
Por ejemplo:
User-agent: *
Disallow: /admin/puede afectar rutas como:
/admin/
/admin/configuracion/
/admin/usuarios/La coincidencia depende de la ruta especificada.
Por eso una modificación aparentemente pequeña puede bloquear muchas URLs.
Qué ocurre si Disallow está vacío
Una regla sin ruta no bloquea nada.
Por ejemplo:
User-agent: *
Disallow:significa que no se ha especificado ninguna ruta mediante esa regla para impedir el rastreo.
No debe confundirse con:
User-agent: *
Disallow: /Esta segunda configuración bloquea el rastreo de todo el sitio para los crawlers a los que se aplica.
Confundir ambas configuraciones puede provocar un problema SEO importante.
Cómo bloquear todo un sitio con Disallow
La siguiente configuración impide el rastreo general del sitio para los crawlers compatibles incluidos en ese grupo:
User-agent: *
Disallow: /Esta regla puede resultar útil temporalmente en determinados entornos de desarrollo, pero utilizarla en producción por accidente puede impedir que Google vuelva a rastrear las páginas.
También conviene recordar que robots.txt no es un sistema de seguridad.
Si un entorno realmente debe ser privado, debería protegerse mediante autenticación u otros mecanismos apropiados.
Cómo permitir todo el rastreo
Si no necesitas impedir el acceso a ninguna ruta, puedes utilizar:
User-agent: *
Disallow:También es posible simplemente no tener un archivo robots.txt.
Cuando Google solicita robots.txt y recibe un 404 porque el archivo no existe, Google interpreta que no existen restricciones de rastreo procedentes de ese archivo.
Esto no significa que carecer de robots.txt sea un problema SEO.
Muchos sitios pequeños no necesitan reglas especiales de rastreo.
Qué diferencia hay entre Disallow y Allow
`Disallow` indica qué rutas no deberían rastrearse.
`Allow` permite definir excepciones dentro de una zona bloqueada.
Un ejemplo frecuente en WordPress puede verse así:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php/La idea es bloquear una zona general y permitir específicamente un recurso que puede necesitar permanecer accesible.
No todos los sitios necesitan esta configuración exacta.
El robots.txt debe responder a la arquitectura real de cada proyecto.
Cómo interpreta Google las reglas Allow y Disallow
Cuando varias reglas podrían coincidir con una URL, Google analiza qué regla resulta más específica.
Por eso no siempre se aplica simplemente la primera línea que aparece en el archivo.
Por ejemplo, podemos bloquear una carpeta y permitir una ruta más específica dentro de ella.
User-agent: *
Disallow: /documentos/
Allow: /documentos/publicos/Una configuración de este tipo debería probarse antes de publicarse cuando afecta URLs importantes.
Qué es User-agent
`User-agent` identifica el crawler al que se aplican las reglas que vienen después.
Por ejemplo:
User-agent: Googlebot
Disallow: /ejemplo/está dirigido a Googlebot.
Mientras:
User-agent: *
Disallow: /ejemplo/utiliza el asterisco para dirigirse al grupo general de crawlers compatibles.
Google también mantiene otros bots especializados, por lo que antes de crear reglas específicas conviene revisar qué crawler se pretende controlar realmente.
Disallow distingue mayúsculas y minúsculas en las rutas
Las rutas utilizadas dentro de `Allow` y `Disallow` son sensibles a mayúsculas y minúsculas para Google.
Por ejemplo:
Disallow: /Privado/no debe asumirse automáticamente como equivalente a:
Disallow: /privado/Este detalle puede generar errores cuando existen estructuras de URL inconsistentes.
Se pueden utilizar comodines con Disallow
Google admite determinados patrones dentro de las reglas de robots.txt.
El asterisco `*` puede representar una secuencia de caracteres.
Por ejemplo:
User-agent: Googlebot
Disallow: /busqueda?*puede utilizarse dentro de una estrategia específica para limitar determinados patrones de URL.
Sin embargo, bloquear parámetros de manera general puede afectar páginas que sí son importantes.
No conviene copiar una regla de otro sitio sin analizar primero qué URLs genera realmente tu plataforma.
Qué significa el signo dólar en robots.txt
Google también admite `$` para indicar el final de una URL dentro de determinados patrones.
Por ejemplo:
Disallow: /*.pdf$puede utilizarse para coincidir con URLs que terminan específicamente en `.pdf`.
Esto no significa que bloquear todos los PDF sea recomendable.
Los archivos PDF pueden posicionarse en Google y generar tráfico, por lo que la decisión debería responder a un objetivo concreto.
Disallow impide que una página sea indexada
No necesariamente.
Esta es probablemente la confusión más importante sobre robots.txt.
Google puede conocer una URL aunque no pueda rastrear su contenido.
Por ejemplo, otra página puede enlazarla.
Si la URL está bloqueada por robots.txt, Google no podrá acceder normalmente al contenido, pero todavía podría mostrar la dirección en los resultados basándose en información externa disponible.
Por eso Google recomienda no utilizar robots.txt como mecanismo para impedir que una página web aparezca en los resultados.
Cómo evitar que una página aparezca en Google
Cuando quieres que una página pública pueda ser visitada por usuarios pero no aparezca en Google, normalmente debe analizarse una directiva `noindex`.
En HTML puede utilizarse:
<meta name="robots" content="noindex">También puede implementarse mediante el encabezado HTTP `X-Robots-Tag` cuando corresponde.
Existe una condición importante.
Google necesita poder rastrear la URL para descubrir la directiva `noindex`.
Si al mismo tiempo bloqueas la página mediante robots.txt, Googlebot puede no llegar a leer la instrucción.
Se puede poner noindex dentro de robots.txt
No debería utilizarse.
Google admite dentro de robots.txt reglas como:
- User-agent.
- Allow.
- Disallow.
- Sitemap.
Una directiva `noindex` escrita directamente dentro de robots.txt no debe utilizarse como mecanismo para controlar la indexación en Google.
Si quieres utilizar `noindex`, debe implementarse mediante los métodos admitidos para indexación.
Qué diferencia hay entre Disallow y noindex
| Disallow | noindex |
|---|---|
| Controla principalmente el rastreo. | Controla la indexación. |
| Se configura dentro de robots.txt. | Puede configurarse mediante meta robots o X-Robots-Tag. |
| Impide que Googlebot solicite determinadas URLs. | Indica que la página no debe aparecer en los resultados. |
| No garantiza que la URL desaparezca de Google. | Google necesita rastrear la URL para leer la directiva. |
Qué diferencia hay entre Disallow y nofollow
Son conceptos diferentes.
`Disallow` controla si determinados crawlers pueden rastrear una ruta.
`nofollow` está relacionado con enlaces.
Puede utilizarse en un enlace como:
<a href="https://ejemplo.com/" rel="nofollow">Enlace</a>También existe una directiva `nofollow` dentro de robots meta para indicar cómo tratar enlaces de una página.
No debería utilizarse como sustituto de `Disallow`.
Qué es X-Robots-Tag
X-Robots-Tag es un encabezado HTTP que permite aplicar determinadas reglas de indexación a una respuesta.
Puede resultar especialmente útil para recursos donde no existe un HTML en el que insertar una etiqueta meta.
Por ejemplo, puede utilizarse para determinados documentos.
De nuevo, esto controla una cuestión diferente a robots.txt.
robots.txt sirve para proteger información privada
No.
robots.txt es un archivo público.
Cualquier persona puede intentar acceder a:
https://www.ejemplo.com/robots.txtPor eso no conviene tratarlo como un mecanismo de seguridad.
De hecho, escribir:
Disallow: /documentos-confidenciales/puede revelar la existencia de esa ruta.
Si un contenido necesita permanecer privado debería protegerse mediante autenticación y controles reales de acceso.
Para qué sí conviene utilizar Disallow
Su uso tiene más sentido cuando realmente no queremos que un crawler dedique solicitudes a determinadas URLs o espacios.
Dependiendo del proyecto puede utilizarse para:
- Zonas técnicas.
- Espacios prácticamente infinitos de URLs.
- Determinadas búsquedas internas.
- Parámetros que generan una gran cantidad de combinaciones sin utilidad para búsqueda.
- Recursos que no necesitan ser rastreados.
La decisión debe tomarse después de analizar las URLs reales.
Se debe bloquear el administrador de WordPress
En muchos sitios WordPress existen reglas relacionadas con `/wp-admin/`.
Una configuración habitual puede ser:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpSin embargo, copiar cualquier robots.txt genérico sin revisar plugins, arquitectura y funcionamiento del sitio no es recomendable.
WordPress y sus extensiones pueden generar diferentes necesidades.
Se deben bloquear las páginas de búsqueda interna
Las páginas de resultados de búsqueda interna suelen tener poco interés para Google y pueden producir muchas URLs.
En determinados sitios puede tener sentido limitar su rastreo.
Pero primero hay que identificar cómo se generan las URLs.
Por ejemplo, una búsqueda podría producir:
/?s=zapatoso:
/buscar/zapatos/La regla apropiada depende de la estructura.
Se deben bloquear todos los parámetros de URL
No.
Una regla como:
Disallow: /*?*puede bloquear prácticamente cualquier URL que contenga parámetros.
Eso puede ser demasiado agresivo.
Algunos parámetros pueden representar páginas que Google necesita rastrear o recursos importantes para el sitio.
Antes de bloquearlos hay que estudiar qué parámetros existen y qué función cumple cada uno.
Cómo gestionar filtros de ecommerce
Las tiendas online pueden generar miles o incluso millones de combinaciones mediante filtros.
Por ejemplo:
/zapatos/?color=negro
/zapatos/?talla=40
/zapatos/?color=negro&talla=40
/zapatos/?orden=precioEste tipo de navegación facetada puede generar espacios muy amplios de URLs.
En proyectos grandes puede ser necesario controlar qué combinaciones merece la pena permitir que Google rastree.
Pero bloquear todos los filtros automáticamente tampoco es una solución universal.
Algunas categorías filtradas pueden responder a búsquedas reales y formar parte de la arquitectura SEO.
Disallow sirve para evitar contenido duplicado
No debería utilizarse como solución automática para cualquier contenido duplicado.
Google dispone de otros mecanismos para interpretar versiones duplicadas, entre ellos las señales de canonicalización.
Si bloqueas mediante robots.txt una URL duplicada, Google puede no rastrearla y por tanto disponer de menos información para interpretar correctamente determinadas señales presentes en esa página.
Cuando existen duplicados hay que estudiar por qué se generan antes de decidir la solución.
Qué utilizar para contenido duplicado
Dependiendo del caso pueden analizarse alternativas como:
- Consolidar URLs.
- Redireccionar versiones antiguas.
- Utilizar canonical.
- Evitar generar URLs innecesarias.
- Modificar la navegación.
- Usar noindex cuando realmente no queremos esa página en resultados.
- Utilizar robots.txt en determinados espacios donde el problema principal es el rastreo masivo.
No existe una única solución aplicable a todos los duplicados.
Se deben bloquear las imágenes con Disallow
No de forma general.
Una regla como:
Disallow: /images/puede impedir que Google rastree las imágenes almacenadas bajo esa ruta.
Eso puede afectar su presencia en Google Imágenes y limitar la información que Google puede obtener sobre determinados recursos.
En ecommerce, turismo, restaurantes, productos y muchos otros sectores las imágenes pueden aportar tráfico y contexto importante.
Solo deberían bloquearse cuando existe una razón concreta.
Se deben bloquear CSS y JavaScript
Normalmente no conviene bloquear recursos esenciales que Google necesita para renderizar y comprender correctamente una página.
Google procesa páginas modernas y puede necesitar archivos CSS o JavaScript para visualizar el contenido de forma parecida al usuario.
Bloquear indiscriminadamente carpetas de scripts y estilos puede dificultar ese proceso.
Antes de impedir su rastreo hay que conocer qué función cumple el recurso.
Disallow mejora el crawl budget
Puede ayudar a reducir solicitudes hacia espacios que realmente no interesa rastrear, especialmente en sitios muy grandes.
Pero esta afirmación necesita contexto.
Google explica que bloquear páginas mediante robots.txt no significa automáticamente que todo ese presupuesto de rastreo vaya a trasladarse hacia otras páginas.
El beneficio es más relevante cuando existe:
- Una gran cantidad de URLs.
- Navegación facetada extensa.
- Parámetros que producen muchas combinaciones.
- Espacios infinitos de URLs.
- Problemas de capacidad del servidor.
En una web corporativa con pocas centenas de páginas y sin problemas de rastreo, el crawl budget normalmente no debería ser la principal preocupación.
Qué es el crawl budget
El presupuesto de rastreo describe los recursos que Google puede y quiere dedicar a rastrear un sitio.
Está relacionado, entre otras cosas, con la capacidad del servidor para responder y con la necesidad de Google de volver a visitar determinadas URLs.
No existe un número público fijo de páginas que todos los sitios reciben diariamente.
Google ajusta su comportamiento según cada proyecto.
Disallow mejora automáticamente el posicionamiento
No.
Bloquear URLs no crea relevancia, autoridad ni calidad adicional para otras páginas.
Puede resolver un problema técnico concreto de rastreo, pero eso no significa que vaya a aumentar automáticamente posiciones.
SEO técnico consiste en eliminar obstáculos cuando existen, no en añadir configuraciones simplemente porque parecen avanzadas.
Disallow mejora la velocidad de una página
No directamente.
Impedir determinadas solicitudes de bots puede reducir tráfico de rastreo en situaciones específicas, pero no optimiza por sí mismo el HTML, imágenes, JavaScript, servidor o Core Web Vitals que experimenta un usuario.
Por eso no debe presentarse como una técnica general de optimización de velocidad.
Qué pasa si bloqueo una página importante por accidente
Googlebot puede dejar de acceder a su contenido mientras la regla continúe activa.
Esto puede afectar el procesamiento de cambios y generar estados relacionados con bloqueo por robots.txt dentro de Search Console.
Después de corregir la regla, Google tendrá que volver a consultar el archivo y posteriormente rastrear las URLs correspondientes.
Por eso cualquier modificación importante del robots.txt debería comprobarse antes y después de publicarse.
Cómo saber si una URL está bloqueada por robots.txt
Google Search Console permite inspeccionar una URL.
Cuando el informe indica que el rastreo no está permitido, una regla de robots.txt puede ser la causa.
También existe un informe específico de robots.txt que permite revisar los archivos encontrados por Google y detectar errores o advertencias de procesamiento.
Estas herramientas son preferibles a asumir que una regla funciona únicamente porque visualmente parece correcta.
Cómo revisar robots.txt en Google Search Console
Search Console cuenta actualmente con un informe de robots.txt.
Este informe permite revisar:
- Qué archivos robots.txt encontró Google.
- Cuándo fueron rastreados.
- Si pudieron obtenerse.
- Errores.
- Advertencias.
También puede solicitarse un nuevo rastreo del archivo después de corregir determinados problemas importantes.
No es necesario solicitarlo cada vez que se realiza un cambio menor.
Cómo probar una URL después de modificar Disallow
La herramienta de inspección de URLs de Search Console permite comprobar una dirección concreta.
Entre la información que ofrece se encuentra si Google puede rastrear la página.
Después de modificar robots.txt conviene comprobar especialmente aquellas URLs importantes que podrían haberse visto afectadas.
Qué pasa si no existe robots.txt
No significa automáticamente que exista un problema SEO.
Si Google recibe un 404 al intentar obtener el archivo robots.txt, normalmente interpreta que no existen restricciones de rastreo procedentes de ese archivo.
Esto puede ser perfectamente válido para una web sencilla donde no exista ninguna zona que sea necesario bloquear.
No es recomendable crear reglas únicamente por considerar que todo sitio debe tener un robots.txt complejo.
Qué pasa si robots.txt devuelve un error del servidor
La respuesta del servidor al solicitar robots.txt es importante.
Un error temporal de servidor no se interpreta de la misma forma que un archivo inexistente.
Problemas para obtener robots.txt pueden afectar temporalmente el comportamiento de rastreo.
Por eso conviene monitorizar que:
/robots.txtsea accesible cuando existe y devuelva una respuesta apropiada.
robots.txt puede tener errores de sintaxis
Sí.
Google intenta interpretar las reglas válidas e ignora aquellas que no reconoce correctamente.
La estructura básica utiliza un campo, dos puntos y su valor.
User-agent: *
Disallow: /privado/La simplicidad ayuda a evitar errores.
Un robots.txt con cientos de reglas superpuestas puede convertirse rápidamente en una configuración difícil de mantener.
Cómo utilizar comentarios dentro de robots.txt
El símbolo `#` permite añadir comentarios.
Por ejemplo:
# Bloqueo de búsqueda interna
User-agent: *
Disallow: /buscar/Los comentarios pueden ayudar a explicar por qué existe una regla.
Esto resulta especialmente útil cuando varias personas administran el sitio.
Se puede incluir el sitemap dentro de robots.txt
Sí.
robots.txt también admite la referencia a uno o varios sitemaps.
Por ejemplo:
User-agent: *
Disallow:
Sitemap: https://www.ejemplo.com/sitemap.xmlLa dirección debe indicarse mediante una URL completa.
El sitemap y `Disallow` cumplen funciones distintas.
El primero ayuda a señalar URLs relevantes y el segundo establece restricciones de rastreo.
Se puede bloquear un bot específico
Sí, siempre que el crawler correspondiente respete robots.txt y utilices correctamente su identificador.
Por ejemplo:
User-agent: Googlebot
Disallow: /ejemplo/está dirigido específicamente a Googlebot.
Antes de bloquear un bot conviene identificar exactamente qué servicio utiliza y qué consecuencias tendría impedir su acceso.
Todos los bots respetan robots.txt
No.
Los crawlers legítimos suelen respetar las reglas del protocolo, pero un bot malicioso puede ignorarlas.
Esta es otra razón por la que robots.txt no debe utilizarse como medida de seguridad.
Si necesitas impedir técnicamente el acceso a determinadas personas o sistemas, debes utilizar controles a nivel del servidor, aplicación, autenticación o infraestructura.
Disallow y privacidad no son lo mismo
Una ruta bloqueada continúa existiendo públicamente si no tiene otras medidas de protección.
Por ejemplo:
User-agent: *
Disallow: /facturas/no impide que alguien escriba manualmente:
https://www.ejemplo.com/facturas/en su navegador.
La regla solamente comunica una preferencia de rastreo a bots compatibles.
Errores frecuentes al utilizar Disallow
- Utilizarlo para eliminar una página de Google confunde rastreo con indexación.
- Bloquear una página que contiene noindex puede impedir que Google lea esa directiva.
- Bloquear todo el sitio por accidente puede ocurrir con una regla `Disallow: /` publicada en producción.
- Copiar el robots.txt de otro sitio puede bloquear rutas que tienen funciones diferentes en tu proyecto.
- Bloquear todos los parámetros puede impedir el rastreo de URLs necesarias.
- Bloquear imágenes sin analizar su importancia puede reducir su capacidad para aparecer en búsqueda de imágenes.
- Bloquear CSS y JavaScript importantes puede dificultar que Google renderice correctamente determinadas páginas.
- Utilizar robots.txt como seguridad deja el contenido potencialmente accesible públicamente.
- Intentar mejorar crawl budget en una web pequeña sin problemas puede distraer de tareas SEO mucho más importantes.
- Utilizar Disallow para solucionar cualquier duplicado puede ocultar el problema real de arquitectura.
Ejemplos prácticos de Disallow
| Objetivo | Ejemplo |
|---|---|
| Permitir el rastreo general | User-agent: * |
| Bloquear todo el sitio | User-agent: * |
| Bloquear una carpeta | User-agent: * |
| Bloquear una URL específica | User-agent: * |
| Bloquear una zona y permitir una excepción | User-agent: * |
Estos ejemplos explican la sintaxis. No significan que cada regla deba utilizarse en cualquier sitio.
Ejemplo de robots.txt para WordPress
Una configuración sencilla puede verse así:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.ejemplo.com/sitemap_index.xmlPero el sitemap real depende del sistema o plugin utilizado y las necesidades del proyecto pueden requerir otras reglas.
No es recomendable convertir este ejemplo en una plantilla universal.
Qué revisar después de una migración web
robots.txt debería formar parte de cualquier revisión posterior a una migración.
Uno de los errores más graves ocurre cuando un entorno de desarrollo utiliza:
User-agent: *
Disallow: /y la regla termina publicándose también en producción.
Después de lanzar una nueva web conviene comprobar:
- robots.txt.
- noindex.
- canonicals.
- redirecciones.
- sitemap.
- códigos de estado.
- Search Console.
Cómo auditar reglas Disallow
Una auditoría debería comenzar identificando todas las reglas existentes.
Después hay que responder:
- Qué bot afecta cada regla.
- Qué URLs coinciden.
- Por qué se bloquean.
- Si todavía existe esa necesidad.
- Si alguna URL importante está afectada.
- Si existe otra técnica más adecuada para el objetivo.
También conviene revisar Search Console y, en proyectos grandes, los logs del servidor.
Cuándo modificar robots.txt
No necesita cambiarse continuamente.
Conviene modificarlo cuando existe una razón técnica clara.
Por ejemplo:
- Nuevas secciones que no deberían rastrearse.
- Cambios en navegación facetada.
- Migraciones.
- Errores de bloqueo.
- Generación excesiva de URLs.
- Cambios en la arquitectura técnica.
Modificarlo constantemente para intentar controlar cada movimiento de Googlebot suele aportar poca utilidad.
Cómo saber si realmente necesitas Disallow
Antes de añadir una regla puedes hacerte tres preguntas.
¿Quiero impedir el rastreo o la indexación?
Si quieres impedir la indexación, probablemente necesitas revisar `noindex` u otro mecanismo y no simplemente `Disallow`.
¿Estas URLs generan un problema real de rastreo?
Si el sitio tiene pocas URLs y Google las procesa correctamente, bloquearlas únicamente para "optimizar crawl budget" puede ser innecesario.
¿Google necesita acceder a estas URLs para interpretar otras señales?
Antes de bloquear recursos, filtros o duplicados hay que revisar su función dentro de la arquitectura.
Cómo se relaciona Disallow con SEO técnico
Disallow es una herramienta pequeña dentro de un área mucho más amplia.
Una auditoría de SEO técnico también puede revisar:
- Rastreo.
- Indexación.
- Arquitectura.
- Sitemaps.
- Canonicals.
- Redirecciones.
- Errores HTTP.
- JavaScript.
- Enlazado interno.
- Rendimiento.
El objetivo no debería ser tener el robots.txt más complejo posible.
Un buen robots.txt es aquel que resuelve las necesidades reales del sitio sin bloquear contenido importante.
Disallow controla rastreo y no debería utilizarse para todo
Entender qué es Disallow permite evitar muchos errores habituales en SEO técnico.
La regla sirve para indicar a crawlers compatibles qué rutas no deberían solicitar.
No es una herramienta de privacidad, no garantiza que una URL desaparezca de Google y no sustituye a una directiva `noindex`.
Tampoco mejora automáticamente el posicionamiento, la velocidad o la indexación de otras páginas.
En sitios grandes puede ayudar a controlar espacios de URLs que no tiene sentido rastrear continuamente. En sitios pequeños quizá no sea necesario utilizar más reglas de las imprescindibles.
Antes de añadir cualquier `Disallow`, conviene definir el objetivo y comprobar qué URLs quedarán afectadas.
Una línea incorrecta puede bloquear miles de páginas. Una configuración sencilla y bien entendida suele ser mucho más útil que un robots.txt lleno de reglas copiadas de otros proyectos.
Convierte lo que aprendes en el siguiente paso de tu negocio
Explora nuestros servicios o cuéntanos qué necesitas mejorar.
Preguntas frecuentes sobre Disallow
- ¿Qué es Disallow en robots.txt?
- Es una regla que indica a los crawlers compatibles qué rutas o URLs de un sitio no deberían rastrear. Se configura dentro del archivo robots.txt junto con el User-agent correspondiente.
- ¿Disallow bloquea la indexación?
- No necesariamente. Disallow controla principalmente el rastreo. Google puede conocer una URL bloqueada mediante enlaces u otras señales y, en algunos casos, mostrar su dirección en resultados aunque no pueda rastrear el contenido.
- ¿Qué diferencia hay entre Disallow y noindex?
- Disallow impide el rastreo de determinadas rutas, mientras que noindex indica que una página no debe aparecer en los resultados. Para leer noindex, Google necesita poder rastrear la URL.
- ¿Puedo utilizar Disallow y noindex al mismo tiempo?
- Normalmente no es una buena combinación si esperas que Google descubra el noindex, porque al bloquear el rastreo mediante robots.txt puede impedirse el acceso a la página donde está la directiva.
- ¿Qué significa Disallow con una barra?
- La regla
Disallow: /bloquea el rastreo de todo el sitio para el User-agent al que se aplica. Debe utilizarse con mucho cuidado. - ¿Qué significa un Disallow vacío?
Disallow:sin una ruta no bloquea nada para ese grupo de crawlers.- ¿Qué diferencia hay entre Allow y Disallow?
- Disallow establece rutas que no deberían rastrearse. Allow puede utilizarse para permitir una URL o subruta más específica dentro de una sección bloqueada.
- ¿robots.txt sirve para proteger información privada?
- No. robots.txt es público y sus reglas pueden ser ignoradas por bots maliciosos. Los contenidos privados deben protegerse mediante autenticación y controles reales de acceso.
- ¿Qué pasa si no tengo robots.txt?
- Si Google obtiene un 404 al solicitar robots.txt, normalmente interpreta que no existen restricciones de rastreo procedentes de ese archivo. Para muchos sitios pequeños esto no representa un problema.
- ¿Disallow mejora el crawl budget?
- Puede reducir rastreo innecesario en determinados sitios grandes, pero bloquear URLs no significa que Google transfiera automáticamente esos recursos hacia otras páginas. El crawl budget suele ser una preocupación avanzada para proyectos con una gran cantidad de URLs.
- ¿Es recomendable bloquear todas las URLs con parámetros?
- No de forma general. Algunos parámetros pueden ser importantes. Primero hay que analizar qué URLs generan y qué función cumplen antes de aplicar una regla amplia.
- ¿Debo bloquear las imágenes en robots.txt?
- Solo cuando exista una razón concreta. Bloquear imágenes puede impedir que Google las rastree y afectar su presencia en Google Imágenes.
- ¿Puedo bloquear CSS y JavaScript?
- Técnicamente pueden bloquearse determinados recursos, pero no conviene impedir el acceso a archivos que Google necesita para renderizar y comprender correctamente una página.
- ¿Cómo puedo comprobar si una URL está bloqueada?
- Google Search Console permite inspeccionar una URL y comprobar si el rastreo está permitido. También dispone actualmente de un informe específico para revisar los archivos robots.txt detectados por Google.
- ¿Disallow mejora automáticamente el SEO?
- No. Es una herramienta de control de rastreo. Solo aporta valor cuando resuelve una necesidad técnica real y una configuración incorrecta puede incluso perjudicar la visibilidad de páginas importantes.
