#robots.txt

Los archivos robots.txt restringen el acceso a un sitio por parte de los robots de motores de búsqueda que rastrean la Web. Estos robots están automatizados y, antes de acceder a las páginas de un sitio, verifican si existe un archivo robots.txt que les impida el acceso a determinadas páginas. Au…

He encontrado este modelo de robots.txt que me pareció ideal para implementar en WordPress. Para quién no lo sepa, este archivo se suele crear en cualquier sitio web respetable a fin de que Google, Yahoo o cualquier otro buscador indexe (es decir, agregue a su base de datos de resultados de búsqued…

Còmo personalizar robots.txt de tu blog o web | no indexar contenido duplicado | urls dinàmicas. Por defecto, por ejemplo blogger trae un defectuoso robots.txt que en vez de ayudar "default" al posicionamiento seo de tu webblog, lo empeora. Para eliminar el contenido duplicado que se genera a partir…