FUNGSI DAN CARA PASANG ROBOT.TXT PADA BLOG - Sedikit saya jelaskan apa itu robot.txt. Robot.txt adalah sebuah konvensi untuk mencegah web crawler,bekerja sama dengan web lain untuk mengakses semua atau bagian dari sebuah website yang jika dilihat secara terbuka. Dengan robot.txt kita dapat melakukan berbagai macam kostumisasi perintah untuk mengizinkan/tidak menginzinkan robot crawleer search engine melakukan crawl terhadap direktori atau halaman tertentu.
Dari beberapa info dan pengetahuan yang telah saya dapati,penggunaan robot.txt ini sangat berguna untuk mengoptimasitakan sebuah blog yang seo friendly. Dikarenakan robot.txt sering digunakan mesin pencari untuk mengkategorikan dan mengarsip situs web dan juga digunakan web master sebagai pemeriksa atau mengkoreksi source code pada blog.
Sebelum saya menjelaskan bagaimana cara pemasangan kode robot.txt pada blog,akan saya uraikan beberapa contoh-contoh kode robot yang pernah saya ketahui beserta fungsinya :
1. Memberikan pengecualian seluruh robot dari semua server.
1. Memberikan pengecualian seluruh robot dari semua server.
User-agent: *
Disallow: /
Disallow: /
2. Membiarkan semua robot untuk melakukan akses di blog tersebut.
User-agent: *
Disallow:
Disallow:
3. Memberikan pengecualian terhadap semua robot dari bagian server.
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
4. Memberikan pengecualian terhadapat single robot.
User-agent: BadBot
Disallow: /
Disallow: /
5. Membiarkan single robot.
User-agent: Google
Disallow:
User-agent: *
Disallow: /
Disallow:
User-agent: *
Disallow: /
6. Memberikan pengecualian terhadapt semua file kecuali satu.
User-agent: *
Disallow: /~joe/stuff/
Disallow: /~joe/stuff/
7. Melarang semua halaman dianulir.
User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html
Dari contoh-contoh robot diatas teman pastinya sudah bisa membayangkan kode mana yang akan teman-teman pasang pada blog teman masing-masing. berikut ini akan saya uraikan bagaimana cara pemasangannya.
1. Pastinya teman-teman telah login terlebih dahulu di www.blogger.com.
2. Setelah masuk pada blog teman masing-masing silahkan lihat pada pilihan menu sebelah kiri,klik setting,kemudian pilih Search Preferences.
3. Cari tulisan Custom Robot.txt terdapat tulisan edit disebelahnya,dan klik tulisan edit tersebut.
4. Pilih Yes,kemudian isi kode yang telah saya sediakan dibawah ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://sii-nop.blogspot.com/feeds/posts/default?orderby=updated
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://sii-nop.blogspot.com/feeds/posts/default?orderby=updated
5. Kemudian klik Save Changes.
Catatan : Ganti tulisan yang telah saya arsir berwarna cokelat tersebut sesuai dengan nama blog teman-teman,kemudian silahkan ubah kode sesuai contoh yang telah saya berikan diatas tadi,jika teman-teman menginginkannya.
Bagaimana? cukup sulit? jangan mengeluh,saya yakin teman-teman pasti bisa. Karena memasang robot.txt ini akan membantu blog teman-teman menjadi seo friendly. Demikian artikel saya kali ini mengenai Fungsi dan cara pasang robot.txt pada blog. Jika merasa kebingunan silahkan bertanya pada kolom komentar yang telah tersedia dibawah ini. Terimakasih.