Noticias, Gadgets, Android, Móviles, Descargas de Aplicaciones

Una guía completa para comprender el archivo robots.txt de WordPress 2020

Robot.txt es una herramienta increíblemente poderosa cuando se trata del SEO de su sitio. Cuando publica una publicación, los robots de los motores de búsqueda rastrean su sitio para indexarlo. Y para asegurarse de que su sitio o publicación tenga una clasificación alta en las páginas de resultados del motor de búsqueda (SERP), debe facilitar que los ‘bots’ del motor de búsqueda exploren sus páginas más importantes. Y bien estructurado robots.txt file ayudará a dirigir esos bots a las páginas que desea que indexen. Aquí esta publicación explica el Importancia de un archivo Robots.txt para su SEO, y cómo crear un archivo txt de robots para su sitio de WordPress?

¿Qué es robots txt WordPress?

El archivo robots.txt, también conocido como protocolo o estándar de exclusión de robots, que le permite denegar el acceso de los motores de búsqueda a ciertos archivos y carpetas. O dígale a los robots web (motores de búsqueda) qué páginas y publicaciones de su sitio deben rastrear.

¿La importancia de un archivo Robots.txt para su SEO?

Como se explicó antes, el archivo Your Robots.txt le dice a los motores de búsqueda a qué páginas acceder e indexar en su sitio web en qué páginas no. Por ejemplo, si especificas en tu archivo Robots.txt que no quieres que los motores de búsqueda puedan acceder a tu página de comentarios, esa página no podrá aparecer en los resultados de búsqueda y los usuarios web no poder encontrarlo. Evitar que los motores de búsqueda accedan a ciertas páginas de su sitio es esencial tanto para la privacidad de su sitio como para su SEO.

¿Dónde se encuentra robots txt en WordPress?

Este archivo generalmente se encuentra en la carpeta raíz de su sitio. Puede ver este archivo conectándose a su sitio mediante un cliente FTP. También puede hacerlo utilizando el administrador de archivos cPanel.

¿Necesito un archivo robots txt de WordPress?

De forma predeterminada, WordPress configura el archivo robots.txt pero no es accesible desde ningún directorio.
pero si desea realizar cambios en él, deberá crear su propio archivo y cargarlo en su carpeta raíz como reemplazo.

¿Cómo creo un archivo txt de robots?

Crear un archivo txt de robots para su sitio es muy fácil y simple

Abra el Bloc de notas, Microsoft Word o cualquier editor de texto Guarde el archivo como ‘robots’ (asegúrese de elegir .txt como la extensión del tipo de archivo) A continuación, agregue las siguientes dos líneas de texto a su archivo:

Agente de usuario: *
Rechazar:

‘User-agent’ es otra palabra para robots o arañas de motores de búsqueda. El asterisco

denota que esta línea se aplica a todas las arañas. Aquí, no hay ningún archivo o carpeta en la línea Disallow, lo que implica que se puede acceder a todos los directorios de su sitio. Este es un archivo de texto de robots básico.

Bloquear las arañas de los motores de búsqueda de todo su sitio también es una de las opciones de robots.txt. Para hacer esto, agregue estas dos líneas al archivo:
Agente de usuario: *

No permitir: /

Si desea bloquear las arañas de ciertas áreas de su sitio, su archivo robots.txt podría verse así:
Agente de usuario: *
No permitir: / database /

No permitir: / scripts /

Las tres líneas anteriores le dicen a todos los robots que no pueden acceder a nada en los directorios o subdirectorios de la base de datos y scripts.

Nota: Tenga en cuenta que solo se puede usar un archivo o carpeta por la línea Disallow. Puede agregar tantas líneas Disallow como necesite.
Asegúrese de agregar el archivo de mapa del sitio XML compatible con los motores de búsqueda al archivo de texto de robots. Esto asegurará que las arañas puedan encontrar su mapa del sitio e indexar fácilmente todas las páginas de su sitio. Utilice esta sintaxis:

Mapa del sitio: http://www.mydomain.com/sitemap.xml

Una vez completado, guarde y cargue su archivo robots.txt en el directorio raíz de su sitio.

www.mydomain.com/robots.txt.

Utilice Yoast para crear un archivo robots.txt

Los complementos de SEO como Yoast tienen una opción para crear y editar su archivo robots.txt desde su panel de WordPress.

Utilice Yoast para crear un archivo robots.txt

Utilice Yoast para crear un archivo robots.txt

Si no ve una opción para el editor de archivos, es porque ha reforzado la seguridad de WordPress. Puede habilitar la opción de edición de archivos eliminando la siguiente línea del archivo wp-config.php.

define (‘DISALLOW_FILE_EDIT’, verdadero);

Su archivo Robot.txt existente aparecerá como:

Agente de usuario: *

No permitir: / Si esta usando Todo en uno SEO abierto Administrador de funciones página en su panel de control. En el interior, encontrará una opción llamadaRobots.txt , con un conspicuo Activar

botón justo debajo de él. ¿Tiene alguna consulta sobre cómo editar robots.txt

en WordPress? ¡Háganos saber en la sección de comentarios! Lea también:

Tabla de Contenido