Cómo funciona robots.txt

Email this to someoneShare on FacebookShare on Google+Share on LinkedInTweet about this on Twitter

El fichero robots.txt es un fichero que siempre debe estar en el directorio raíz de tu web (por ejemplo http://blog.adpv.com/robots.txt ) y que le dice a los rastreadores en que páginas puede o no puede entrar. Su funcionamientom es muy facil. Comandos:

User-Agent: [nombre rastreador] -> Le dice que los siguientes comandos son para un determinado rastreador.
User-Agent: * -> Le dice que los siguientes comandos son para todos los rastreador.
Disallow: [url sin dominio] -> Le dice que no rastree la url que le decimos y las inferiores.
Sitemap: [url sin dominio del sitemap] -> Le dice donde puede encontrar el sitemap.xml con todas las urls de la web.

User-agent: *
Disallow: /

Con este robots.txt lo que le decimos es que ningún rastreador rastree ninguna url de la web.

User-agent: Googlebot-Image
Disallow: /users

Con este robots.txt lo que le decimos a bot Googlebot-Image es que rastree ninguna web por debajo de users. Teneis muchos validadores de robots.txt.

Sé la primera persona en comentar

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

De conformidad con lo establecido en la LOPD, Adpv Advertising Provider S.L. garantiza la adopción de las medidas necesarias para asegurar el tratamiento confidencial de los datos de carácter personal. Así mismo le informamos de la inclusión de sus datos en un fichero con la finalidad de mantener su relación negocial o contractual con Adpv Advertising Provider S.L. y de la posibilidad de ejercer los derechos de acceso, rectificación, cancelación y oposición en la siguiente dirección: Ercilla, 26, 1Dcha., 48011, Bilbao, Bizkaia. Privacidad.