Pengaturan Robot TXT Yang Baik dan Aman Untuk Blog

Iklan 728x90

Pengaturan Robot TXT Yang Baik dan Aman Untuk Blog

Cara setting robot txt yang baik dan aman untuk blog
Halo sobat blogger kali ini saya akan membahas tentang Cara Pengaturan Robot Txt yang Baik dan Aman untuk blog. 

Sebelum kita membahas cara pengaturan robot txt yang baik dan aman untuk blog, ada baiknya kita mengenali terlebih dulu apasih yang dimaksud dengan robot txt itu.


Apasih Robots Txt itu dan Apa Fungsinya Untuk Blog?

Menurut Google sendiri robot txt adalah file dalam sebuah situs atau blog anda yang memberi tahu crawler mesin telusur untuk mengizinkan merayapi ataupun tidak mengizinkan merayapi halaman atau file yang ada di situs atau blog anda. File ini digunakan untuk menghidari pemuatan berlebihan pada situs atau blog anda.

Jadi, robot txt ini cukup penting untuk memberi tahu mesin perayap google untuk merayapi halaman blog kita yang mana saja boleh dirayapi dan yang tidak boleh dirayapi.
Pengaturan robot txt ini sangat sensitif, anda harus melakukan dengan teliti, sedikit saja salah bisa berdampak buruk pada blog anda, yaitu blog anda akan diabaikan oleh mensin pencari google. Gak mau kan hal ini terjadi?


Gunakanlah dengan bijak pengaturan Robot Txt pada blog anda

Sebenarnya Blogger sendiri sudah memberikan settingan default robot txt pada setiap blog yang kita buat, dan inilah yang paling disarankan karena dianggap paling baik dan aman untuk blog. 

Robot Txt Default Blogger:

Settingan default robot txt adalah seperti berikut:


User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.BlogAnda.com/sitemap.xml

Keterangan:
User-agent: Mediapartners-Google (Penanda bahwa blog menggunakan adsenss)
Disallow: (yang tidak dibolehkan dicrawl tidak ada)
User-agent: * (Semua robot telusur)
Disallow: /search (tidak mengijinkan crawler untuk merayapi url setelah /search, seprti /search/label..)
Allow: / (yang diijinkan untuk dirayapi robot clawer. Tanda ( / ) adalah nama blog.
Sitemap: http://namabloganda.com/sitempa.xml (ini adalah peta situs / daftar isi blog)

Sebelum merubah pengaturan robot txt,  sebaiknya pahami dulu apa kebutuhan blog anda sendiri. Pengaturan robot txt ini sebaiknya digunakan pada saat keadaan tertentu saja, sesuaikan dengan kondisi blog atau website anda.


Lalu kondisi blog seperti apa yang sebaiknya untuk menggunakan pengaturan robot txt ini?



  • Jika anda menginginkan halaman seperti about,  archive,  contact dan lainya untuk tidak di crawl oleh mensin cari (robot google)
  • Jika anda ingin blog anda tidak di crawl oleh mesin pencari (biasanya ini blog yang bersifat pribadi dan pada kalangan tertentu saja)
  • Jika blog anda mengalami duplikat konten, dan agar salah satu konten yang menyebabkan duplikat tersebut agar tidak di crawl oleh mesin pencari
  • Dan lain sebagainya, intinya tergantung pada kondisi blog anda 

Custom Robot Txt:
Berikut adalah salah satu contoh custom robot txt jika anda tidak ingin mesin crawler merayapi halaman about dan kontak di blog anda:


User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /

Sitemap: https://www.BlogAnda.com/sitemap.xml

Jika anda ingin melakukan custom robot txt anda bisa menggunakan cara berikut ini.

Pertama, masuk ke dasbor blog anda dan pilih menu Setting/ Setelan >> Preferensi Penelusuran >> Pilih Robot Txt Khusus >> pilih Aktifkan, lalu letakan Robot txt anda di dalam kolom dan klik Simpan perubahan. Lihat gambar dibawah:



Setting robot txt
Selanjutnya, klik edit pada Tag Tajuk Robot Khusus, dan lakukan pengaturan seprti berikut:

Setting Tag Tajuk Robot Txt

Nah, begitulah cara setting robot txt untuk blog.

Kalau saya menyarankan lebih baik menggunakan robot txt default saja untuk blog anda, kenapa? karena google sendiri yang menyarankannya. Saat pertama membuat blog, google sudah membuatkan robot txt untuk blog kita, artinya google memang memberikan standar keamanan untuk blog kita dengan robot txt default tersebut.


Sekian dulu artikel tentang cara setting robot txt yang baik dan aman untuk blog, semoga bermanfaat. :D

Baca Juga
SHARE

Related Posts

Subscribe to get free updates

4 comments

  1. Wah ternyata benar ya,kebanyakan dari informasi yg aku baca mereka juga menyarankan pakai robot txt default saja :D

    ReplyDelete
  2. Bener banget gan,cuma kelemahannya cuma di index sama google aja,ist ok lagian visitor kan banyaknya dari google

    ReplyDelete

Post a Comment