He encontrado este modelo de robots.txt que me pareció ideal para implementar en WordPress.
Para quién no lo sepa, este archivo se suele crear en cualquier sitio web respetable a fin de que Google, Yahoo o cualquier otro buscador indexe (es decir, agregue a su base de datos de resultados de búsqueda) solamente las páginas que debe indexar.
Un ejemplo práctico: En nuestro sitio tienemos 10 entradas de blog, con artículos interesantes que deseamos que Google indexe. Pero también tenemos una página llamada “pruebita.html” que es una que hemos creado para probar cierto código interno pero que no queremos que nadie acceda a ella. Supongamos sino, que tenemos una página de administración de contenidos (si, como la que trae por defecto WordPress, llamada ‘backend’, u otros sistemas de administración de contenidos). ninguna de estas páginas deben ser accedidas por los buscadores, pues, no son relevantes o son privadas.
Por lo tanto, lo que debemos hacer es simplemente crear un archivo en Bloc de Notas o nuestro editor de texto favorito, y llamarlo “robots.txt” (sin las comillas por supuesto…). Dentro de él escribimos líneas, como las que les presento a continuación. Luego de guardarlo, lo subimos a la carpeta raíz del sitio, es decir, donde se encuentra nuestro index.html.
El modelo es el siguiente: (copiar y pegar en el archivo txt)
#
# robots.txt para tu blog en WordPress.
#
# Usar bajo propia responsabilidad, que nos conocemos
# http://sigt.net/archivo/robotstxt-para-wordpress.xhtml
#
# Primero el contenido adjunto.
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
# También podemos desindexar todo lo que empiece
# por wp-. Es lo mismo que los Disallow de arriba pero
# incluye cosas como wp-rss.php
Disallow: /wp-
#
# Sitemap permitido, búsquedas no.
#
Sitemap: http://tu-web/sitemap.xml
Disallow: /?s=
Disallow: /search
#
# Permitimos el feed general para Google Blogsearch.
#
# Impedimos que permalink/feed/ sea indexado ya que el
# feed con los comentarios suele posicionarse en lugar de
# la entrada y desorienta a los usuarios.
#
# Lo mismo con URLs terminadas en /trackback/ que sólo
# sirven como Trackback URI (y son contenido duplicado).
#
Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
#
# A partir de aquí es opcional pero recomendado.
#
# Lista de bots que suelen respetar el robots.txt pero rara
# vez hacen un buen uso del sitio y abusan bastante…
# Añadir al gusto del consumidor…
User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
#
# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
# idas de pinza, toca decirles que reduzcan la marcha.
# El valor es en segundos y podéis dejarlo bajo e ir
# subiendo hasta el punto óptimo.
#
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10