El fichero robots.txt es importante por 2 motivos:
Sirve para indicar la ubicación del fichero sitemap.xml que usa Google para obtener un listado de las páginas existentes en el sitio y que debe indexar.
Evita que Google indexe por error ficheros con información privada y, que luego un atacante puede usar haciendo búsquedas en Google.
Esta técnica se llama Google Dorks. Te pongo un ejemplo de una búsqueda peligrosa que puedes hacer ahora mismo en Google y, que sirve para encontrar copias de seguridad de sitios que no tienen un fichero robots.txt que los proteja.
Dónde subir el robots.txt
Cuando subas tu fichero robots.txt tienes que hacerlo a la raíz del sitio —si tienes un cPanel súbelo en la carpeta public_html— y para probar que funciona visita esta dirección en el navegador:
http://example.org/robots.txt
Ejemplo robots.txt seguro para WordPress
Este robots fue diseñado para mejorar la seguridad de un WordPress y está basado en el proyecto WPHardening que es una herramienta para fortificar WordPress desde la consola de comandos.
Sitemap: http://example.org/sitemap.xml
User-Agent: *
Allow: /wp-content/uploads/
Allow: /feed/$
Disallow: /wp-
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /?s=
Disallow: /search
Disallow: /archives/
Disallow: /index.php
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/
# No indexar copias de seguridad
Disallow: /*.sql$
Disallow: /*.tgz$
Disallow: /*.gz$
Disallow: /*.tar$
Disallow: /*.svn$
# Reglas para bots conocidos
User-agent: Googlebot
User-agent: Googlebot-Image
Disallow: /wp-includes/
Allow: /wp-content/uploads/
User-agent: Mediapartners-Google*
Disallow:
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10
User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
La primera línea: Sitemap: http://example.org/sitemap.xml, sirve para establecer la URL que le corresponde al fichero sitemap.xml del propio sitio. Este valor lo lee Google durante el rastreo. Es importante que pongas la URL adecuada, sobre todo si el sitio no está registrado en la Search Console de Google.
Este ejemplo de robots.txt para WordPress esta pensado para mejorar la seguridad de tu sitio web. Es un punto de partida para empezar la personalización, desactivando otros bots o bloqueando la indexación de carpetas con contenido privado.