Evitar URLS duplicadas en Foro SMF [Robots.TXT]

Hace tiempo hice unos cambios en el foro ya que viendo las webmasters tools de google, me aparecían muchas urls duplicadas… si demaciadas, la verdad que apenas habían en el foro 1500 mensajes y no se cuantos temas y tenia mas de 4500 urls duplicadas.

Ahora después de un mes o tal vez un poco mas tengo apenas 32 urls duplicadas, así que el cambio fue bueno…

Claro hay que decirlo, bajaron los links indexados de unos 5 mil a 2 mil apenas, pero lo curioso es que las visitas han subido, en todas las áreas así que son puntos a favor, y en solo 3 meses subimos de pagerank 0 a 2…

Ahora bien la solución fue un robots.txt hecho de acuerdo a lo que google decia que estaba duplicado… y mas que nada eran las urls que tenian /msj/ o prev, y esas cosas, cada tema tenia de 3 a 5 enlaces, casi el mismo enlace pero la terminación cambiaba un poco con eso que les digo de MSG, PREV, SORT y poca cosa mas..

Aquí les dejo el robots.txt que uso ahora, se puede mejorar pero bueno, por ahora esta bien. Y claro hay que decir que uso pretty urls si no habría que cambiar un poco el fichero de texto 😉

# /robots.txt file for https://foro.skamasle.com/
User-agent: *
Disallow: /*/?sort=*
Disallow: /*/;wap2=
Disallow: /empty-*.0.html;topicseen
Disallow: /*/*/msg*
Disallow: /*/msg*
Disallow: /*/msg
Disallow: /*/*msg
Disallow: /*/?prev_next*
Disallow: /profile/*
Disallow: /register
Disallow: /search
Disallow: /login
Disallow: /collapse
Disallow: /*/msg*/*
Disallow: /*/*/msg*/*
Disallow: /*/?sort=last_post
Disallow: /*/*/?sort=last_post
Disallow: /*/?sort=replies
Disallow: /*/*/?prev_next=*

Y eso era todo.. no mas urls duplicadas o bueno unas cuentas pero de 4500 o mas a solo 32 es un cambio notable..

Aquí dejo el enlace del robots.txt del foro

Intentare mejorarlo me falto incluir /help y otras cosillas pero bueno falta de tiempo y no le puse atención en el momento de hacerlo pero por ahora va bien así ya luego mas cambios !

Nos vemos espero les sirva