Cómo optimizar su WordPress Robots.txt para SEO

Recientemente uno de nuestros lectores nos pidió consejos sobre cómo optimizar el archivo robots.txt para mejorar el SEO. El archivo Robots.txt le dice a los motores de búsqueda cómo rastrear su sitio web, lo que lo convierte en una herramienta SEO increíblemente poderosa. En este artículo, le mostraremos cómo crear un archivo robots.txt perfecto para SEO.

Uso del archivo WordPress robots.txt para mejorar el SEO

¿Qué es el archivo robots.txt?

Robots.txt es un archivo de texto que los propietarios de sitios web pueden crear para indicar a los robots de los motores de búsqueda cómo rastrear e indexar páginas en su sitio.

Normalmente se almacena en el directorio raíz, también conocido como la carpeta principal de su sitio web. El formato básico de un archivo robots.txt es el siguiente:

12345678Usuario-agente: [nombre del usuario-agente]Deshabilitar: URL string not to be crawled]Usuario-agente: [nombre del usuario-agente]Permitir: [Cadena de URL a rastrear]Mapa del sitio: URL de su Sitemap XML]

Puede tener varias líneas de instrucciones para permitir o no permitir URLs específicas y añadir varios sitemaps. Si no rechaza una URL, los robots de los motores de búsqueda asumen que pueden rastrearla.

Así es como puede verse un archivo de ejemplo robots.txt:

123456Usuario-Agente: *Permite: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-admin/Sitemap: https://example.com/sitemap_index.xml

En el ejemplo de robots.txt anterior, hemos permitido a los motores de búsqueda rastrear e indexar archivos en nuestra carpeta de cargas de WordPress.

Después de eso, hemos rechazado los robots de búsqueda de rastreo e indexación de plugins y carpetas de administración de WordPress.

Por último, hemos proporcionado la URL de nuestro mapa de sitio XML.

¿Necesita un archivo Robots.txt para su sitio WordPress?

Si no tiene un archivo robots.txt, los motores de búsqueda seguirán rastreando e indexando su sitio web. Sin embargo, no podrá indicar a los motores de búsqueda qué páginas o carpetas no deben rastrear.

Esto no tendrá mucho impacto cuando estés por primera vez iniciar un blog y no tiene mucho contenido.

Sin embargo, a medida que su sitio web crece y tiene mucho contenido, es probable que desee tener un mejor control sobre la forma en que se rastrea e indexa su sitio web.

Aquí está el por qué.

Los robots de búsqueda tienen una cuota de rastreo para cada sitio web.

Esto significa que rastrean un cierto número de páginas durante una sesión de rastreo. Si no terminan de rastrear todas las páginas de su sitio, volverán y volverán a rastrear en la siguiente sesión.

Esto puede ralentizar la tasa de indexación de su sitio web.

Puede corregir esto desestimando los robots de búsqueda para que no intenten rastrear páginas innecesarias como las páginas de administración de WordPress, los archivos de plugin y la carpeta de temas.

Al desactivar las páginas innecesarias, se guarda la cuota de rastreo. Esto ayuda a los motores de búsqueda a rastrear aún más páginas en su sitio y a indexarlas lo más rápido posible.

Otra buena razón para utilizar el archivo robots.txt es cuando desea detener a los motores de búsqueda de la indexación de un mensaje o página en su sitio web.

No es la forma más segura de ocultar el contenido al público en general, pero le ayudará a evitar que aparezcan en los resultados de búsqueda.

¿Cómo debería ser un archivo Robots.txt ideal?

Muchos blogs populares utilizan un archivo robots.txt muy simple. Su contenido puede variar, dependiendo de las necesidades del sitio específico:

12345Usuario-agente: *Disallow:Mapa del sitio: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml

Este archivo robots.txt permite a todos los robots indexar todo el contenido y les proporciona un enlace a la página web XML sitemaps .

Para los sitios de WordPress, recomendamos las siguientes reglas en el archivo robots.txt:

123456789Usuario-Agente: *Permite: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-admin/Disallow: /readme.htmlDisallow: /referir/Mapa del sitio: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml

Esto indica a los robots de búsqueda que indexen todas las imágenes y archivos de WordPress. No permite que los robots de búsqueda indexen los archivos de plugins de WordPress, el área de administración de WordPress, el archivo Léame de WordPress y los enlaces de afiliados.

Al añadir sitemaps al archivo robots.txt, los robots de Google pueden encontrar fácilmente todas las páginas de su sitio.

Ahora que sabe cómo es un archivo robots.txt ideal, echemos un vistazo a cómo puede crear un archivo robots.txt en WordPress.

¿Cómo crear un archivo Robots.txt en WordPress?

Hay dos maneras de crear un archivo robots.txt en WordPress. Usted puede elegir el método que mejor se adapte a sus necesidades.

Método 1: Edición del archivo Robots.txt usando Yoast SEO

Si está utilizando el plugin Yoast SEO , entonces viene con un generador de archivos robots.txt.

Puedes usarlo para crear y editar un archivo robots.txt directamente desde tu área de administración de WordPress.

Simplemente vaya a la página SEO ” Tools en su administrador de WordPress y haga clic en el enlace Editor de archivos.

Herramienta de edición de archivos en Yoast SEO

En la página siguiente, Yoast SEO página mostrará su archivo robots.txt existente.

Si usted no tiene un archivo robots.txt, entonces Yoast SEO generará un archivo robots.txt para usted.

Crear archivo robots.txt usando Yoast SEO

Por defecto, el generador de archivos robots.txt de Yoast SEO añadirá las siguientes reglas a su archivo robots.txt:

12Usuario-agente: *Disallow: /

Es importante que elimine este texto porque bloquea a todos los motores de búsqueda para que no puedan rastrear su sitio web.

Después de eliminar el texto predeterminado, puede seguir adelante y añadir sus propias reglas robots.txt. Recomendamos usar el formato ideal robots.txt que compartimos anteriormente.

Una vez que haya terminado, no olvide hacer clic en el botón “Guardar archivo robots.txt” para guardar los cambios.

Método 2. Editar el archivo Robots.txt manualmente usando FTP

Para este método, necesitará usar un cliente FTP para editar el archivo robots.txt.

Simplemente conéctese a su cuenta WordPress hosting usando un cliente FTP.

Una vez dentro, podrá ver el archivo robots.txt en la carpeta raíz de su sitio web.

Edición del archivo WordPress robots.txt usando FTP

Si no ve ninguno, es probable que no tenga un archivo robots.txt. En ese caso, puedes seguir adelante y crear uno.

Crear archivo robots.txt usando FTP

Robots.txt es un archivo de texto plano, lo que significa que puede descargarlo a su ordenador y editarlo utilizando cualquier editor de texto plano como Notepad o TextEdit.

Después de guardar los cambios, puede volver a cargarlos en la carpeta raíz de su sitio web.

Cómo probar su archivo Robots.txt?

Una vez que haya creado el archivo robots.txt, siempre es una buena idea probarlo con una herramienta de prueba robots.txt.

Hay muchas herramientas de prueba robots.txt por ahí, pero recomendamos usar la que está dentro Google Search Console .

Sólo tienes que acceder a tu cuenta de la Consola de Búsqueda de Google y, a continuación, cambiar al sitio web de la antigua consola de búsqueda de Google.

Cambiar a la antigua consola de búsqueda de Google

Esto le llevará a la antigua interfaz de la Consola de Búsqueda de Google. Desde aquí debe iniciar la herramienta de prueba robots.txt ubicada en el menú’Crawl’.

Robots.txt tester tool

La herramienta buscará automáticamente el archivo robots.txt de su sitio web y resaltará los errores y advertencias si los encuentra.

Pensamientos finales

El objetivo de optimizar su archivo robots.txt es evitar que los motores de búsqueda rastreen páginas que no están disponibles públicamente. Por ejemplo, las páginas de la carpeta wp-plugins o las páginas de la carpeta admin de WordPress.

Un mito común entre los expertos en SEO es que el bloqueo de categorías, etiquetas y páginas de archivo de WordPress mejorará la tasa de rastreo y dará como resultado una indexación más rápida y una clasificación más alta.

Esto no es cierto. También va en contra de las directrices para webmasters de Google.

Le recomendamos que siga el formato robots.txt para crear un archivo robots.txt para su sitio web.

Rate this post

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *