robots. txt, .htaccess , compresión GZIP y sitemaps.xml

La integración de los archivos robots.txt, .htaccess ( +compresión GZIP ) y sitemaps.xml es un paso fundamental para la optimización del SEO en nuestra web de WordPress. A continuación explico de forma sencilla cómo configurar y agregar estos archivos sin complicarnos demasiado.

Creación de Sitemaps XML

El sitemap.xml es un archivo que sirve para esquematizar todas las páginas existentes de una web.

Google diseñó este sistema para facilitar la indexación y poder enviarle directamente al robot indexador de Google un resumen de todas las urls que pueda tener nuestra web para que las indexe con mayor facilidad y rapidez.

En el foro de soporte de Google nos explican cómo crear un sitemap desde cero pero… ¿Para qué complicarnos la vida si hay un plugin estupendo que nos resuelve el problema?

La mejor opción es, sin duda, generar el sitemap de forma automática instalando el plugin SEO YOAST.   Una vez activado el plugin, tendremos nuestro sitemap.xml en la ruta ../sitemap_index.xml.

Para comprobarlo haz click en el menú vertical de tu WordPress / SEO -> XML Sitemaps, luego en el botón  “Puede encontrar su XML Sitemap aquí: XML Sitemap” si el resultado es  Error 404 Página no encontrada lo resolvemos volviendo al menú de WordPress / Ajustes / Enlaces permanentes y vuelve a guardar tus enlaces permanentes.

Si por alguna razón marciana y desconocida no queremos instalar SEO Yoast, también podremos generar el sitemap con Google XML Sitemaps Generator  y se creará automáticamente en la raíz de nuestro WordPress con el nombre sitemap.xml.

Así de fácil.

Configuración del archivo robots.txt.

El fichero robots.txt es un archivo de texto que dicta unas recomendaciones para que todos los crawlers y robots de buscadores cumplan. En este artículo se explica de forma clara y precisa qué es y cómo se configura este archivo.

Para simplificar os dejo el archivo robots.txt que yo suelo utilizar en WordPress:

Disallow: /wp-admin
Disallow: /wp-includes/
Disallow: /*/feed/
Disallow: /*/trackback/
Disallow: /*/attachment/
Disallow: /author/
Disallow: /*/feed/
Disallow: /tag/*/page/
Disallow: /tag/*/feed/
Disallow: /xmlrpc.php
Disallow: /*?s=
Disallow: /*/*/*/feed.xml
Disallow: /?attachment_id*
Sitemap: http://gooddesign.es/sitemap.xml

Tan sólo hay que copiar su contenido a una hoja de texto plano, guardarla con el nombre y extensión robots.txt y subirla a la carpeta raíz de nuestro WordPress mediante FTP.

Si no queremos utilizar nuestro FTP, también podemos generar robots.txt  con el plugin WP Robots Txt de Christopher Davis.

 

Archivo .htaccess (con compresión gzip)

El archivo .htaccess es necesario para el correcto funcionamiento de WordPress. Son usados principalmente para especificar restricciones de seguridad en la web: evitar que se liste el contenido de un directorio, evitar el acceso a determinados archivos y carpetas, crear páginas de errores personalizadas, evitar el robo de ancho de banda o bloquear a usuarios o a sitios, entre otras opciones.

Desde WordPress Codex nos proporcionan el archivo .htacces básico para WordPress:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
# END WordPress

Dentro de este .htaccess básico podemos agregar la línea de compresión GZIP. La compresión GZIP hará que nuestro sitio web sea menos pesado en KB, lo que derivará a su vez en dos ventajas importantes: Ahorro de ancho de banda y aumento de la velocidad de nuestra web .

 php_value output_handler ob_gzhandler)

Con la nueva línea GZIP el archivo .htaccess final quedaría:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
php_value output_handler ob_gzhandler
# END WordPress

Ahora podemos añadir las líneas para indicarle dónde están nuestros archivos robots.txt y sitemap.xml . Por lo que nuestro archivo GZIP FINAL quedará así:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
php_value output_handler ob_gzhandler
# END WordPress

# canonical robots.txt
<IfModule mod_rewrite.c>
RewriteBase /
RewriteCond %{REQUEST_URI} !^/robots.txt$ [NC]
RewriteCond %{REQUEST_URI} robots.txt [NC]
RewriteRule .* http://your-site.com/robots.txt [R=301,L]
</IfModule>

# canonical sitemaps
<IfModule mod_alias.c>
RedirectMatch 301 /sitemap\.xml$ http://example.com/sitemap.xml
RedirectMatch 301 /sitemap\.xml\.gz$ http://example.com/sitemap.xml.gz
</IfModule>

Copiamos este texto en una hoja de texto plano, lo guardamos como htaccess.txt (sin el punto) y lo subimos desde el FTP a la carpeta raíz de nuestro WordPress. Una vez subido al directorio lo renombramos como .htaccess (sin extensión). El siguiente paso es hacer este archivo de sólo lectura, para evitar problemas mayores. Esto se hace editando los permisos del archivo en tu aplicación o gestor FTP y cambiándolos a 444.

Ya debería funcionar todo perfectamente pero vamos a asegurarnos de que la compresión GZIP está habilitada.

En GIDNETWORK TOOLS tenemos una herramienta para comprobar nuestra compresión. Tan sólo debemos introducir nuestra URL.

Quizás también te interese: Análisis de la optimización web y el SEO en WordPress

3 comentarios de “robots. txt, .htaccess , compresión GZIP y sitemaps.xml

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *