Cara Setting Robots.txt di Blogger / Blogspot SEO Friendly

Cara Setting Robots.txt - Mungkin sobat sudah sering mendengar istilah robots.txt. Apa sih robots.txt itu? apakah perlu di setting? bagaimana kalau saya biarkan saja? mungkin masih banyak pertanyaan lain.

Apa itu robots.txt?

Robots.txt adalah perintah bagi robot mesin pencari untuk menelusuri atau tidak menelusuri halaman pada blog kita. Boleh dikatakan robots.txt adalah filter blog kita dari mesin pencari.

Apakah setiap blog mempunyai robots.txt?

Ya, semua blog sudah mempunyai robots.txt yang diberikan oleh blogger. Secara default robots.txt pada blog seperti ini :

Robot.txt ini penyetinggannya harus sangat hati hati agar blog sobat tidak di abaikan oleh search engine

Anda tidak perlu khawatir salah setting karena saya sudah mencheknya di tools penguji robot.txt di google webmaster dan hasilnya tidak ada warning ataupun error.

Apa arti dari semua kode di atas? berikut adalah penjelasannya:

• User-agent: Mediapartners-Google (  user agent milik google menandakan bahwa blog ini adalah partner dari google )
• Disallow: ( Yang tidak diperbolehkan tidak ada )
• User-agent: * ( Semua robot Search Engine / mesin pencari )
• Disallow: /search ( Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated... )
• Allow: / ( Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda [ / ]kurang lebih artinya nama blog )
• Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED ( sitemap atau alamat feed blog )

Langsung saja ke tutorialnya. masuk ke dasbor blogger. buka “Setelan” blog anda. buka “Preferensi penelusuran’ lalu tekan edit pada bagian robots.t.xt Lihat gambar dibawah ini.

Silahkan copy dan paste Robot.txt di bawah ini di form sesuai gambar di atas.

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Allow: /
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /*/*/*.html?showComment=*
Disallow: /p/about.html
User-agent:*
Allow: /
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /*/*/*.html?showComment=*
Disallow: /p/about.html
Sitemap: https://www.pakar-teknologi.blogspot.com/feeds/posts/default?orderby=UPDATED

Silahkan ganti https://www.pakar-teknologi.blogspot.com dengan link sobat. Lalu tekan simpan perubahan.