4.4 Archivo Robots.txt
Archivo Robots.txt ¿Qué es?
Es un archivo de texto que se encuentra en la raíz de un dominio y sirve para indicar a los robots de los buscadores qué zonas deseas que puedan rastrear y cuales no.
Al igual que sucede con el archivo sitemap, éste sigue un estándar para que los buscadores puedan interpretar a qué zonas o archivos de la página pueden acceder.
¿Para qué sirve?
Como hemos indicado anteriormente, el archivo Robots.txt se usa para controlar el tráfico de rastreo. Gracias a ello conseguiremos:
Que los rastreadores de los buscadores no sobrecarguen el servidor de nuestra web.
Evitar que Google y otros buscadores muestren resultados de tu página que no desees mostrar en las SERP
¿Cómo se crea?
Existe amplia información en Internet sobre este tema. Tienes documentación muy completa en esta página de Google.
Si usas Wordpress, automáticamente al instalarlo te genera el archivo que se ubica en www.tudominio.com/robots.txt
Más información sobre Robots.txt:
Guía Robots.txt de Google para Webmasters
http://www.robotstxt.org/