DISALLOW

Definición de Disallow

¿Qué es Disallow?

Disallow, o negar en su traducción al castellano, es una herramienta empleada con el propósito de impedir a un sitio o carpeta su capacidad de acceso.

Usualmente asociado con el archivo Robots.txt, se considera como una suerte de "protocolo de exclusión de robots", el cual previene que los robots de ciertos buscadores rastreen contenidos que no deseamos que indexen en sus resultados. Por ende, se puede garantizar que determinados contenidos no serán indexados ni posicionados, permaneciendo ocultos para las SERPs.

Por otro lado, se encuentra el allow, que señala a un rastreador una URL que sí puede indexar o rastrear. Ambos contienen reglas específicas que solo se aplican a los agentes que hayamos especificado previamente. Además, es posible incluir varias líneas de disallow para distintos agentes de usuarios.

La forma de diseñar un Disallow All en robots.txt es mediante el uso del User-Agent (*) y el Disallow (/). En este sentido, el primero de ellos hace que la instrucción se aplique a todos los robots, mientras que el segundo bloquea el acceso a todas las páginas pertenecientes al dominio web.

Sin embargo, el uso de esta técnica no garantiza nada, ya que el robot puede decidir si hacer caso omiso o no, pudiendo enlazar la página o indexarla a pesar de haberle indicado lo contrario. Para asegurar un bloqueo efectivo de los robots, se pueden emplear también los meta tags y agregar los códigos en ciertas plantillas.

En realidad, el disallow guarda cierta similitud con otras estrategias como el noindex, un atributo utilizado en el lenguaje HTML para hacer invisibles diversos enlaces de una web y evitar que los crawlers de Google indexen la página que indica la etiqueta en sus SERPs.

También está relacionado con el archivo de texto robots.txt, conectado generalmente a un sitio web para establecer reglas sobre el comportamiento de los robots indexadores y, por lo general, utilizado para evitar que estos rastreen ciertos contenidos.

¿Cuál es la utilidad del Disallow?

El disallow será útil para cualquier persona o empresa que esté desarrollando el sitio web de un proyecto y desee que el contenido que se está subiendo y el trabajo realizado no sea visible hasta que esté completamente terminado. En ese caso, prohibirá a los bots indexarlo con este tipo de código, de modo que solo sea visible una vez habilitado para el público.

También se puede usar cuando se desea que solo un grupo selecto de usuarios acceda al portal o incluso cuando se prefiere seleccionar la audiencia según criterios como país, región o edad. Los motivos para hacerlo de esta manera son diversos y variados, pero en cualquier caso, es fundamental saber cómo utilizarlo correctamente.

En cualquier caso, restringir el acceso de los bots al contenido y prohibirles indexarlo contribuirán a que la autoridad y el posicionamiento de un sitio web no se vean afectados. ¿Por qué? Porque si las arañas de Google, por ejemplo, encuentran entradas con una estructura deficiente y un contenido irrelevante, asumirán que el sitio en sí deja mucho que desear y no proporciona información útil y de calidad.

Ejemplos de Disallow

Existen diversas clases de Disallow para bloquear parcialmente o total un enlace, sitio o portal web. Uno de los más destacados es el Disallow/Admin, que excluye del rastreo del directorio al administrador de una página web. Por otro lado, el Disallow/*.gif restringe el acceso a los archivos GIF pertenecientes al portal web.

Es importante tener en cuenta que cada código añadido tendrá diferentes funcionalidades, que pueden ir desde el bloqueo de imágenes hasta la limitación del acceso a directorios completos.

Espero que la información sobre DISALLOW haya sido de tu interés. Te invito a explorar más artículos con contenido valioso. Además, no dudes en consultar nuestros post más visitados, ¡seguro encontrarás información que te será de gran utilidad!