Còmo personalizar robots.txt de tu blog o web | no indexar contenido duplicado | urls dinàmicas.
Por defecto, por ejemplo blogger trae un defectuoso robots.txt que en vez de ayudar "default" al posicionamiento seo de tu webblog, lo empeora. Para eliminar el contenido duplicado que se
genera a partir de la publicación de una entrada, deberemos dirigirnos a nuestro robot.txt
En blogger: Configuración -> Preferencias para motores de bùsquedas -> Habilitar robots.txt
En tu web: acceder por ftp por ejemplo al sitio, ubicar el archivo robots.txt, descargarlo y editarlo (Sino existe, lo creamos con el mismo nombre debe ir en el directorio raiz del sitio).
El code bàsicamente para " eliminar contenido duplicado " y mejorar el posicionamiento seo de tu sitio es:
# Archivo robots.txt personalizado |
User-agent: * # Todos los rastreadores son llamados aquí.
Disallow: /*? # Bloquea las URL que incluyan un signo de interrogación
Disallow: /search*/ # Bloquea los directorios que empiecen por search
Disallow: /*search/ # Bloquea los directorios que acaben en search
Disallow: /archive*/ # Bloquea los directorios que empiecen por archive
Allow: / # Permite todo lo demás
User-agent: Mediapartners-Google # Llama al robot de Adsense
Allow: / # Al robot de Adsense le dejamos rastrear todas las páginas
# Finalmente incluimos la dirección del sitemap xml
Sitemap: http://urldeublog/atom.xml?redirect=false&start-index=1&max-results=500
Como veràs, le dice que no indexe ni tenga en cuenta "para mostrar en los resultados de bùsquedas del usuario", las pàginas que contengan search, que contengan un signo de interrogaciòn "?", etc.
En tu sitio web tal vez no quieras que el buscador o mejor dicho : NO DEBES QUERER que el bot indexe contenido como "carpetas": CSS, JAVASCRIPT, USUARIOS, PERFILES, ETC, ETC".
Por lo que el procedimiento es el mismo..debes dentro de "Disallow" meter lo que quieres sea privado para ti.
SEGUIME EN FACEBOOK!: Todos los dias un nuevo articulo Seoogle2012
