Part 5 Me-setting Custom Robots.txt Blog

Cara Mengatur Custom Robots.txt pada Blog  & 

Mengaktifkan Custom Robots Header Tags

Hi, sobat blogger! Tahukah kamu apa itu robot.txt?

ya, Robot.txt merupakan sebuah ketentuan untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter. Kemudian, kita dapat mengatur robot.txt ini pada menu Settings > Crawlers & Indexing > Enable Custom Robot.txt > Edit Custom Robot.txt. Oleh karena itu, penting sekali untuk menyematkan script robot.txt pada website blog Anda agar perayapan atau pencarian informasi yang dilakukan search engine pada artikel-artikel blog Anda lebih maksimal. Yuk, simak penjelasannya berikut ini!

Pengertian Robot.txt

Robots.txt adalah sebuah ketentukan yang dibuat oleh mesin pencari, untuk mencegah web crawler dan robot web lain, baik dari perayapan sebagaian maupun secara keseluruhan dari sebuah web. Selain itu, Anda robots.txt berguna untuk menentukan visibilitas sebuah gambar yang berada di dalam konten artikel blog Anda. Kemudian, robots.txt juga berperan penting sebagai security yang akan mengarahkan audiens atau pembaca untuk mengakses artikel-artikel blog yang Anda. 

Fungsi Robot.txt

Robot ini berfungsi untuk melakukan pengawasan terhadap halaman-halaman web, agar dapat segera di-index atau tidak sama sekali di-index oleh search engine atau mesin pencari seperti google, bing, yandex dan lain-lain. Umumnya, robot.txt memiliki beberapa fungsi , antara lain:

• Membatasi kegiatan robot bot.
• Mengontrol kegiatan spider bot.
• Memblokir halaman konten yang Anda kelola.
• Dapat mengontrol mesin pencari seperti google untuk bagaimana memasuki website yang anda kelola.

Pengertian Indexing

Indexing merupakan pengindeksan artikel blog anda dimana halaman website blog yang Anda buat akan terdaftar dan dapat ditemukan pada halaman pencarian google. Pengindeksan dapat dilakukan dengan 2 cara yaitu pengindeksan situs dan pengindeksan artikel. Untuk melakukan pengindeksan situs maupun artikel, Anda dapat melakukan pendaftaraan dan permintaan pengindeksan pada Google Seach Console. Sementara itu, jika pengunjung blog anda besar, maka kemungkinan besar blog Anda dapat menempati posisi di halaman google ke-1, ke-2 atau ke-3. Hal ini tentunya akan memberikan dampak yang bagus bagi blog Anda dan jika telah memenuhi syarat dan ketentuan Google Andsense, Blog Anda dapat dimonetisasi. 

Buka Juga: Cara Indexing Blog pada Google Search Console 

Cara Mengatur Custom Robots.txt pada Blog

Berikut ini beberapa langkah yang Anda harus lakukan untuk mengatur custom robot.txt pada blog Anda.

1. Silakan Anda masuk ke dashboard blog yang Anda miliki;

2. Pilih menu Settings atau Setelan; 

3. Aktifkan sub-menu Enable Custom Robot.txt;

4. Edit pada Custom robots.txt; (Isikan script custom robots.txt berikut ini dan ganti kata-kata yang tercetak merah dengan alamat url blog Anda. script custom robot.txt berikut ini merupakan script yang umum digunakan oleh para blogger)

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://namabloganda.blogspot.com/sitemap.xml

6. Blog Anda telah siap untuk dapat dirayapi atau ditemukan oleh Search Engine atau mesin pencari; 

7. Kemudian Anda dapat mengatur custom robots header tags pada blog Anda.  

Keterangan: 

• User-agent: Mediaparthners-Google berarti bahwa Anda mengizinkan robot yang juga merupakan partner google untuk merayapi atau menelusui website blog Anda. 
• Dissallow: Tidak mengizinkan
• User-agent: * berarti selain robot google, search engine lainnya juga diperbolehkan untuk merayapi atau menelusui website blog Anda. 
• Disallow: /search berarti Anda tidak membolehkan search engine untuk merayapi alamat pencarian. 
• Allow: / Sitemap .... berarti Anda membolehkan bagian file sitemap.xml website blog Anda untuk dirayapi atau ditelusuri.

Selain itu, jika Anda menginginkan beberapa halaman tidak di-index oleh google, Anda bisa menambahkan script berikut :

Disallow: /p/kontak-kami.html

Jangan menggunakan beberapa script di bawah ini, bila tidak ingin website blog Anda tidak terindex.

Disallow: /* berarti semua halaman web tidak akan diijinkan untuk dirayapi atau ditelusuri.

Disallow: /?m=1 berarti web sobat tidak akan dirayapi bila terdapat pengunjung dari seluler. 

Disallow: /?m=0 termasuk juga ini.

Disallow: /*?m=1 juga ini.

Disallow: /*?m=0 dan ini.

Kemudian agar dapat dilakukan perayapan atau pencarian yang maksimal website blog Anda, Silakan tambahan atau sematkan script di bawah pada custom robots.txt.

User-agent: Mediapartners-Google

Disallow:

User-agent: Googlebot

User-agent: Bingbot

Disallow: /search

Disallow: /p/kontak-kami.html

Disallow: /p/tentang.html

Allow: /

Sitemap: http://namabloganda.blogspot.com/sitemap.xml

Penggunaan Googlebot dan Bingbot

Penggunaan Googlebot dan Bingbot bertujuan agar dapat perayapan atau pencarian terhadap halaman website blog Anda dapat lebih tepat, sehingga blog Anda mendapatkan perayapan yang maksimal dari google search atau mesin pencari lainnya. Kami merekomendasikan Anda untuk menyematkan  script custom robots.txt di atas pada blog Anda. 

Cara Mengatur Custom Header Tags Untuk Blogspot

Pada Custom Header Tags khusus bisa diaktifkan dengan mengaktifkan fitur-fitur berikut ini. 

• Pada Header Page : Silakan Anda ceklis pilihan all atau semua 
• Pada Archive and Search Pages : Silakan Anda ceklis pilihan nonindex dan nosnippet saja. 
• Pada Default for Post and Page : Silakan Anda ceklis pilihan all atau semua. 

Hal ini dilakukan agar Google Search dapat melakukan perayapan atau pencarian custom robot.txt website blog Anda dengan cepat. 

Referensi

https://www.buatkuingat.com/2018/12/cara-mengatur-custom-robotstxt-dan-header-tags-terbaru-untuk-blogspot.html diakses pada tanggal 6 November 2021

https://id.wikipedia.org/wiki/Robots.txt diakses pada tanggal 26 November 2021

    Demikian tadi sekilas penjelasan terkait "Cara Mengatur Robot.txt pada Blog dan Mengaktifkan Custom Robots Header Tags". Semoga dapat bermanfaat dan menambah wawasan baru bagi pada blogger. Terima kasih dan selamat mencoba : )