Menambahkan robots.txt untuk Blogger

         Dalam salah satu posting saya sebelumnya saya telah membahas tentang Kustom Robot Header Tag untuk blogger. Jika Anda telah membaca posting itu maka saya harap kalian menyadari dengan pentingnya dalam peringkat pencarian. Hari ini, saya datang dengan istilah sadar sangat berguna dan harus blogging yang Robots.txt. Di blogger itu dikenal sebagai Kustom Robots.txt itu berarti sekarang Anda dapat menyesuaikan file ini sesuai dengan pilihan Anda. Dalam tutorial hari ini kita akan membahas tentang istilah ini dalam-dalam dan datang untuk tahu tentang penggunaan dan manfaat. Saya juga akan memberitahu Anda bagaimana untuk menambahkan file kustom robots.txt di blogger. Jadi mari kita mulai tutorial.txt di Blogger.

Apa itu Robots.txt?

Robots.txt adalah file teks yang berisi beberapa baris kode sederhana. Hal ini disimpan di website atau server blog yang menginstruksikan web crawler untuk bagaimana indeks dan merangkak blog Anda dalam hasil pencarian. Itu berarti Anda dapat membatasi setiap halaman web di blog Anda dari web crawler sehingga tidak bisa terindeks di search engine seperti halaman label blog Anda, halaman demo Anda atau halaman lain yang tidak penting untuk mendapatkan diindeks. Selalu ingat bahwa crawler pencarian memindai file robots.txt sebelum merangkak setiap halaman web.

Setiap blog host di blogger memiliki file robots.txt default yang merupakan sesuatu yang terlihat seperti ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Penjelasan

Kode ini dibagi menjadi tiga bagian. Mari studi pertama masing-masing setelah itu kita akan belajar bagaimana menambahkan file kustom robots.txt di blog blogspot.

1. User-agent: Mediapartners-Google

Kode ini adalah robot Google Adsense yang membantu mereka untuk melayani iklan yang lebih baik di blog Anda. Entah Anda menggunakan Google Adsense di blog Anda atau tidak cukup biarkan seperti itu.

    User-agent: *
 
Ini adalah untuk semua robot yang ditandai dengan tanda bintang (*). Dalam pengaturan default blog kita label link dibatasi untuk diindeks oleh crawler pencarian yang berarti web crawler tidak akan mengindeks kami link halaman label karena kode di bawah ini.

Disallow: /search

Itu berarti link yang memiliki kata kunci pencarian setelah nama domain akan diabaikan. Lihat di bawah contoh yang merupakan link dari halaman label bernama SEO.

http://vendi.official.web.id/search/label/Tips Blog

Dan jika kita menghapus Disallow: / search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua halaman konten dan web.
Berikut Izinkan: / mengacu pada Homepage yang berarti web crawler dapat merangkak dan homepage indeks blog kita.
Larang khusus PosSekarang kira jika kita ingin mengecualikan posting tertentu dari pengindeksan maka kita dapat menambahkan di bawah garis dalam kode.

Disallow: /yyyy/mm/post-url.html

Berikut tttt dan mm mengacu pada tahun penerbitan dan bulan pos masing-masing. Sebagai contoh jika kita telah menerbitkan sebuah posting pada tahun 2013 di bulan Maret maka kita harus menggunakan format yang di bawah.

Disallow: /2015/05/post-url.html

Untuk membuat tugas ini mudah, Anda cukup menyalin URL pos dan menghapus nama blog dari awal.

Larang khusus HalamanJika kita perlu untuk melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan menghapus alamat blog dari itu yang akan sesuatu terlihat seperti ini:

Disallow: /p/page-url.html

• Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Kode ini mengacu pada sitemap blog kita. Dengan menambahkan link di sitemap di sini kita hanya mengoptimalkan tingkat merangkak blog kita. Berarti setiap kali web crawler memindai file robots.txt kami mereka akan menemukan jalan untuk sitemap kami di mana semua link dari postingan kita diterbitkan hadir. Web crawler akan merasa mudah untuk merangkak semua postingan kita. Oleh karena itu, ada kemungkinan yang lebih baik bahwa web crawler merangkak semua posting blog kita tanpa mengabaikan satu pun. 

Catatan: Jika Postingan anda di blog belum mencapai 500 gunakan sitemap dibawah ini.

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Jika Anda memiliki lebih dari 500 posting diterbitkan dalam blog Anda, maka Anda dapat menggunakan dua Sitemaps seperti di bawah ini:

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

Menambahkan robots.txt untuk Blogger

Sekarang bagian utama dari tutorial ini adalah cara menambahkan robots.txt di blogger. Jadi di bawah ini adalah langkah-langkah untuk menambahkannya.

1.     Pergi ke blog blogger Anda.
2.     Arahkan ke Settings >> Preferensi Pencarian >> Crawler dan pengindeksan >> Custom  robots.txt >> Edit >> Ya
3.     Sekarang paste kode file robots.txt Anda dalam kotak.
4.     Klik tombol Save Changes.
5.     Kamu selesai! 

Bagaimana Cek Robots.txt ?

Anda dapat memeriksa file ini di blog Anda dengan menambahkan robots.txt akhirnya ke URL blog Anda di browser. Lihatlah contoh di bawah ini untuk contoh.

http://vendi.official.web.id/robots.txt

Setelah Anda mengunjungi URL file robots.txt Anda akan melihat seluruh kode yang Anda gunakan dalam file robots.txt kustom Anda. Lihat gambar di bawah ini.

Ini adalah tutorial lengkap hari ini tentang cara menambahkan file kustom robots.txt di blogger. Saya benar-benar mencoba dengan hati saya untuk membuat tutorial ini sederhana dan informatif mungkin. Tapi tetap jika Anda memiliki keraguan atau query maka jangan ragu untuk bertanya kepada saya. Jangan menaruh kode dalam pengaturan robots.txt kustom Anda tanpa mengetahui tentang hal itu. Hanya meminta kepada saya untuk menyelesaikan permintaan Anda. Aku akan memberitahu Anda segala sesuatu secara rinci. Thanks guys untuk membaca tutorial ini. Jika Anda suka maka silakan mendukung saya untuk menyebarkan kata-kata saya dengan berbagi posting ini di profil media sosial Anda. Selamat Blogging!

Tweet