Qué es un archivo robots.txt y cómo beneficia a tu Web

Hay varias herramientas para la optimización SEO de tu Web y el archivo robots.txt es una de las más importantes.

Los softwares rastreadores de Google (Crawlers), Yahoo o Bing, acceden a los sitios web en busca de información para incorporarla a sus buscadores. Es decir, los rastreadores indexan o posicionan la información que se encuentran en la web.

Si tu web está bien ordenada e indexada, los rastreadores de los buscadores no tendrán problema en encontrarte y posicionarte correctamente.

 

¿Qué es un archivo robots.txt?

Aunque te suene raro, no siempre querrás que Google encuentre todo lo que tienes en tu sitio web. Puedes decirle a Google que no encuentre alguna página específica de tu sitio web. Por ejemplo, si tienes una página que aun está en desarrollo o una página que es privada. O también páginas como el Aviso Legal y todas las referentes a la parte legal de la web no debes incluirlas en este rastreo.

El fichero robots.txt es un archivo de texto que le dice a los rastreadores de los buscadores (crawlers) la información de tu sitio web que quieres mostrar.

Es un archivo de texto plano que puedes diseñar fácilmente. La idea es que los rastreadores de los buscadores localicen en tu sitio sólo lo que quieras mostrarles.

Es decir, con un archivo robots.txt, harás que Google se enfoque en el SEO que tu web realmente necesita.

¿Qué beneficios obtendrás al instalarlo en tu Web?

• Cuando un motor de búsqueda rastree tu sitio web, no perderá tiempo rastreando todas las páginas, lo que tendrá efectos positivos en tu posicionamiento.
• Evitarás que ciertas páginas y directorios privados de tu web sean accesibles a los buscadores.
• Podrás bloquear el acceso a archivos de código o utilidades.
• No se indexarán contenidos duplicados de tu web, como copias de prueba o versiones para imprimir. Esto ocurre principalmente en WordPress, donde se generan de forma automática muchas páginas que tienen el mismo contenido, como son las páginas de categorías.
• Impedirás el consumo de banda innecesario por el rastreo de archivos auxiliares en tu web.
• Impedir que se indexen archivos personales o con contenido privado.

WordPress y robots.txt

El gestor WordPress es excelente en casi todos los sentidos, pero hay que configurarlo muy bien para que no duplique contenidos. Aún cuando tiene un archivo robots.txt por defecto, debes mejorarlo.

En WordPress, también puedes crear el archivo con el plugin Yoast SEO. Vas a “Herramientas” luego a “Editor de archivos” y allí creas o modificas tu archivo robots.txt.

Hay varios plugins que te ayudarán en WordPress, como pueden ser los siguientes (entre otros):

• Virtual robots.txt

Este plugin está diseñado para ayudarte a crear tu archivo.

• WP Robots Txt

La implementación de este tipo de archivos está íntimamente relacionado con la indexación del sitio web.

Por ello, se hace indispensable que lo programes adecuadamente. Especialmente si usas tu web con un gestor de contenidos (CMS) como WordPress, que lo genera de forma automática.

De no hacerlo bien, corres el riesgo de que se incluyan como no indexables partes que sí deberían ser rastreadas.

En el post de la próxima semana explicaré cómo crear un archivo robots.txt y subirlo al servidor.