Robots.txt optimizado para WordPress

Email this to someoneShare on FacebookShare on Google+Share on LinkedInTweet about this on Twitter

En un artículo anterior en ZonaW ya vimos cómo funciona el fichero robots.txt. Si utilizas WordPress para gestionar tu blog es necesario que añadas un fichero robots.txt por varias razones: evitar contenido duplicado en buscadores, impedir el acceso a robots determinados, reducir la sobrecarga en el servidor e indicar el fichero “sitemap.xml”.
Este es un fichero Robots.txt optimizado para WordPress:

# Sitemap

Sitemap: http://www.tusitioweb.com/sitemap.xml

# Ficheros y directorios a des/indexar de nuestro WordPress

User-Agent: *
Allow: /wp-content/uploads/
Allow: /feed/$
Disallow: /wp-
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /?s=
Disallow: /search
Disallow: /archives/
Disallow: /index.php
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

# Reglas para los bots más conocidos

User-agent: Googlebot

User-agent: Googlebot-Image
Disallow: /wp-includes/
Allow: /wp-content/uploads/

User-agent: Mediapartners-Google*
Disallow:

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

User-agent: noxtrumbot
Crawl-delay: 50

User-agent: msnbot
Crawl-delay: 30

User-agent: Slurp
Crawl-delay: 10

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /

2 comentarios

  1. Vicente dijo:
    20 agosto, 2012
    Responder

    Hola compañeros, siento discrepar bastante de este archivo para wordpress:
    Tiene muchos errore, por ejemplo
    Línea 7 User-Agent: *
    Aunque comandos no distinguen entre mayúsculas y minúsculas, le aconsejamos que escribir exactamente “User-agent”, que es todo en minúsculas a excepción de la capitalización “U”.

    Línea 8: Permitir / wp-content/uploads /
    Comando desconocido. Comandos aceptables son “User-agent” y “Disallow”.
    Un archivo robots.txt no dice lo que los archivos / directorios que pueden permitir pero sólo lo que se puede rechazar.
    Línea 9 Allow: / feed / $
    Comando desconocido. Comandos aceptables son “User-agent” y “Disallow”.
    Un archivo robots.txt no dice lo que los archivos / directorios que pueden permitir pero sólo lo que se puede rechazar.

    Línea 19 Disallow: / *?
    El “*” wildchar en nombres de archivo no es compatible con (todos) los agentes de usuario que trata este bloque de código. Se debe utilizar la wildchar “*” en un bloque de código exclusivamente dirigido a las arañas que apoyan la wildchar (Ej. Googlebot).

    Línea 20 Disallow: / * php $.
    El “*” wildchar en nombres de archivo no es compatible con (todos) los agentes de usuario que trata este bloque de código. Se debe utilizar la wildchar “*” en un bloque de código exclusivamente dirigido a las arañas que apoyan la wildchar (Ej. Googlebot).

    Línea 21 Disallow: / * js $.
    El “*” wildchar en nombres de archivo no es compatible con (todos) los agentes de usuario que trata este bloque de código. Se debe utilizar la wildchar “*” en un bloque de código exclusivamente dirigido a las arañas que apoyan la wildchar (Ej. Googlebot).

    Línea 22 Disallow: / * $ inc.
    El “*” wildchar en nombres de archivo no es compatible con (todos) los agentes de usuario que trata este bloque de código. Se debe utilizar la wildchar “*” en un bloque de código exclusivamente dirigido a las arañas que apoyan la wildchar (Ej. Googlebot).

    Línea 23 Disallow: / * css $.
    El “*” wildchar en nombres de archivo no es compatible con (todos) los agentes de usuario que trata este bloque de código. Se debe utilizar la wildchar “*” en un bloque de código exclusivamente dirigido a las arañas que apoyan la wildchar (Ej. Googlebot).

    Línea 24 Disallow: * / feed /
    El “*” wildchar en nombres de archivo no es compatible con (todos) los agentes de usuario que trata este bloque de código. Se debe utilizar la wildchar “*” en un bloque de código exclusivamente dirigido a las arañas que apoyan la wildchar (Ej. Googlebot).
    Le recomendamos que comience un nombre de archivo / directorio con uno de los principales caracteres de barra diagonal (Ejemplo: / private.html).

    Línea 25 Disallow: * / trackback /
    El “*” wildchar en nombres de archivo no es compatible con (todos) los agentes de usuario que trata este bloque de código. Se debe utilizar la wildchar “*” en un bloque de código exclusivamente dirigido a las arañas que apoyan la wildchar (Ej. Googlebot).
    Le recomendamos que comience un nombre de archivo / directorio con uno de los principales caracteres de barra diagonal (Ejemplo: / private.html).

    User-agent: Googlebot-Image
    No se debe separar con comandos de líneas en blanco que pertenecen al mismo bloque de código. Por favor, elimine la línea vacía (s) sobre esta fila.

    Línea 35 Disallow: / wp-includes /
    Ha especificado una ruta de acceso genérico (“/” o no permitir el vacío) y rutas específicas para este bloque de código, lo que podría ser mal interpretado.
    Hay uno o más espacios antes del comando (no mostrado aquí). Usted debe eliminar, reducir problemas de interpretación con algunos robots antiguos.

    Línea 36: Permitir / wp-content/uploads /
    Comando desconocido. Comandos aceptables son “User-agent” y “Disallow”.
    Un archivo robots.txt no dice lo que los archivos / directorios que pueden permitir pero sólo lo que se puede rechazar. Por favor refiérase a la página estándar de exclusión de robots para obtener más información.
    Hay uno o más espacios antes del comando (no mostrado aquí). Usted debe eliminar, reducir problemas de interpretación con algunos robots antiguos.

    Línea 39 Disallow:
    Ha especificado una ruta de acceso genérico (“/” o no permitir el vacío) y rutas específicas para este bloque de código, lo que podría ser mal interpretado.
    Hay uno o más espacios antes del comando (no mostrado aquí). Usted debe eliminar, reducir problemas de interpretación con algunos robots antiguos.

    Línea 42 Disallow: /
    Hay uno o más espacios antes del comando (no mostrado aquí). Usted debe eliminar, reducir problemas de interpretación con algunos robots antiguos.

    Línea 45 Disallow: /
    Hay uno o más espacios antes del comando (no mostrado aquí). Usted debe eliminar, reducir problemas de interpretación con algunos robots antiguos.

    Línea 48 Crawl-delay: 50
    Hay uno o más espacios antes del comando (no mostrado aquí). Usted debe eliminar, reducir problemas de interpretación con algunos robots antiguos.

    Línea 51 Crawl-delay: 30
    Hay uno o más espacios antes del comando (no mostrado aquí). Usted debe eliminar, reducir problemas de interpretación con algunos robots antiguos.

    Línea 54 Crawl-delay: 10
    Hay uno o más espacios antes del comando (no mostrado aquí). Usted debe eliminar, reducir problemas de interpretación con algunos robots antiguos.

    Línea 57 Disallow: /
    Hay uno o más espacios antes del comando (no mostrado aquí). Usted debe eliminar, reducir problemas de interpretación con algunos robots antiguos.

    Línea 60 Disallow: /
    Hay uno o más espacios antes del comando (no mostrado aquí). Usted debe eliminar, reducir problemas de interpretación con algunos robots antiguos.

    Línea 66 Disallow: /
    Hay uno o más espacios antes del comando (no mostrado aquí). Usted debe eliminar, reducir problemas de interpretación con algunos robots antiguos.

    Disallow: /
    Hay uno o más espacios antes del comando (no mostrado aquí). Usted debe eliminar, reducir problemas de interpretación con algunos robots viejos

    ADVERTENCIA: El bloque de código dirigido a todas las arañas (User-agent: *) no es la última. Le aconsejamos que lo mueve a la parte inferior del archivo robots.txt, para reducir los problemas de interpretación con algunos robots antiguos.

    Despues de arreglar todos estos probles que estaria arreglado en unos 15 minutos, el archivo robots.txt seria bueno.

    saludos

  2. Juegos Divertidos dijo:
    23 octubre, 2012
    Responder

    Excelente herramienta gracias! lo añadiré a mi sitio.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

De conformidad con lo establecido en la LOPD, Adpv Advertising Provider S.L. garantiza la adopción de las medidas necesarias para asegurar el tratamiento confidencial de los datos de carácter personal. Así mismo le informamos de la inclusión de sus datos en un fichero con la finalidad de mantener su relación negocial o contractual con Adpv Advertising Provider S.L. y de la posibilidad de ejercer los derechos de acceso, rectificación, cancelación y oposición en la siguiente dirección: Ercilla, 26, 1Dcha., 48011, Bilbao, Bizkaia. Privacidad.