Remove Duplicate Content Google Webmasters

Website atau blog yang mengalami perubahan content atau update content terus menerus terutama jika menggunakan wordpress, tidak akan lepas dengan internal duplicate content ini. Untuk mengecek website kita apa mengalami internal duplicate content, bisa kita lihat di google webmaster | diagnostics | content analisysis…. misal yang terjadi seperti ini….

Gambar di atas, terdapat 2 duplicate content yang sangat fatal, yaitu di Duplicate meta descriptions dan Duplicate title tags.

Duplicate meta descriptions dan Duplicate title tags biasanyaterjadi akibat ikut ter index nya description atau title tags comment-page yang sama dengan induk nya,  pemakaian category yang beda dalam satu content (multi category), pemakaian description atau title tags yang sama pada tags yang berbeda. misal :

catatanku» Udate PageRank Desember 2008

/website/udate-pagerank-desember-2008/

/website/udate-pagerank-desember-2008/comment-page-1/

/wordpress/udate-pagerank-desember-2008/

***************

/tag/blog/

/tag/checks/

/tag/connections/

/tag/data/

/tag/dns/

/tag/domain/

/tag/download/

Untuk mengatasi ini, banyak berbagai cara yang dapat di lakukan. Salah satu cara adalah dengan cara melakukan pembatasan di robots.txt ( URLs restricted by robots.txt )

Bagi pengguna wordpress, bisa gunakan plugin KB Robots.txt untuk mempermudah setting. Dan untuk pengguna lain dapat melakukan edit file robots.txt. misal, robots.txt untuk ariefew.com :

User-agent: Googlebot

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-

Disallow: /*/feed/

Disallow: /trackback/

Disallow: /plugins/

Disallow: /cgi-bin/

Disallow: /?random/

Disallow: /feed/

Disallow: /feed

Disallow: /category/

Disallow: /author/

Disallow: /tag/

Disallow: /tv/

Disallow: /css/

Disallow: /img/

Disallow: /*/comment-page-*

Allow: /wp-content/uploads/

User-agent: *

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-

Disallow: /*/feed/

Disallow: /trackback/

Disallow: /plugins/

Disallow: /adlogger/

Disallow: /cgi-bin/

Disallow: /?random/

Disallow: /feed/

Disallow: /feed

Disallow: /category/

Disallow: /author/

Disallow: /tag/

Disallow: /tv/

Disallow: /css/

Disallow: /img/

Disallow: /*/comment-page-*

Sitemap: http://ariefew.com/sitemap.xml

User-agent: Googlebot-Image
Allow: /*

Di text di atas ada 3 user-agent, yaitu : Googlebot, all (*), Googlebot-Image. Pada googlebot dan all (*) yang di batasi (disallow) di  /wp-content/, /wp-admin/, /wp-includes/, /wp-, /*/feed/, /trackback/, /plugins/, /cgi-bin/, /?random/, /feed/, /feed, /category/, /author/, /tag/, /tv/, /css/, /img/, /*/comment-page-*.

Perlu diingat pengeditan robots.txt ini akan menyebabkan semua search engine tidak akan mengindex semua content kita yang kita stting disallow seperti di atas. Jadi sebaiknya kita cek dulu dimana letak duplicate yang terjadi pada website kita pada webmaster tools.