Robots.txt adalah berisi pedoman atau pengaturan untuk Robot-crawler tentang bagaimana mereka akan meng-crawler dan mengindexs situs web atau blog anda, maka dari itu, blogger menyediakan pengaturan khusus untuk mengatur beberapa pengaturan SEO yang sangat dasar dan sangat mudah dari dashboard blog anda. Salah satunya adalah menetapkan custom robots.txt untuk blog anda sesuai kebutuhan kamu .
Pada dasarnya setiap blog dari platfrom blogger memiliki robots.txt setelan default, namun dengan perubahan baru di blogger ini, anda dapat mengubahnya sesuai dengan kebutuhan, nah..untuk itu dalam posting kali ini, anda akan tahu tentang bagaimana stelan robots.txt default blogger dan cara menambahkan atau mengedit robots.txt custom untuk blog kamu .
Inilah setelan Default Robots.Txt :
User-agent: Mediapartners-Google
Disallow:User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.anessilitonga.blogspot.com/feeds/posts/default?orderby=UPDATED
Untuk mengecek Robot.Txt yang Anda gunakan saat ini :
http://NamaBlogAnda.blogspot.com/robots.txt
Ganti settingan default pada Robot.Txt menjadi ini :
User-agent: Mediapartners-Google
Disallow:User-agent: *
Disallow: /search
Disallow: /p/*
Disallow: /view/*
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Allow: /
Sitemap: http://www.URL BLOG ANDA.blogspot.com/feeds/posts/default?orderby=UPDATED
User-agent: Mediapartners-Google
Disallow: Garis ini menunjukan bahawa bot crawler di perintah untuk merayapi atau meng-crawler adsense. jika anda sudah mempunyai iklan Adsense; baris ini sangat bagus untuk ,meng-crawler adsense dan untuk mengunjungi semua halaman situs anda sesuai dengan pedoman adsense, untuk garis ini lebih baik di biarkan.
User-agent: * Baris ini digunakan untuk bot meng-crawler semua situs halaman blog anda (kecuali untuk pengaturan yang terpisah di bawahnya, apakah harus di indexs atau di blok dalam penambahan kode di bawah-nya. yang di maksud dibawahnya ini adalah kode-kode yang anda terapkan.
Disallow: /search Baris ini menunjukkan bahwa setiap halaman / pencarian dalam bentuk URL tidak akan dijelajahi dan diindeks oleh bot crawler. Baris ini sangat penting untuk membuat SEO blog anda, seperti tidak akan merayapi atau tidak akan mengindeks halaman Label dan Arsip. Karena halaman tersebut bukan halaman unik atau URL yang bisa di indexs dan juga untuk menghindari duplikat konten pada blog anda.
Disallow: /p/* Garis ini berfungsi untuk memblokir robot menjelajah halaman untuk blog anda. Tetapi jika anda ingin halaman anda tetap di indeks oleh crawler , silahkan hapus baris ini.
Disallow: / view / * Garis ini berfungsi untuk menghentikan robot merayapi halaman blogger dengan tampilan link dinamis. Jika anda menggunakan tampilan dinamis di blog anda, maka anda bisa menghapus garis ini tapi jika anda tidak menggunakannya silahkan di biarkan saja.
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0 Garis-garis ini berfungsi untuk menghentikan robot merayapi halaman redirect ke mobile phone atau tampilan handphone. Jika anda tidak menggunakannya, maka anda mungkin akan melihat blog dengan link dalam hasil pencarian tampilan mobile phone *?M = 1 atau *?M = 0 garis ini diperlukan untuk menghindari masalah duplikat halaman. Jika anda tidak mempunyai masalah ini atau jika anda tidak membutuhkannya, anda bisa menghapusnya.
Sekian dulu info dari Newbie Techno , semoga 100% bermanfaat .
Terima kasih
Masukan email Anda untuk Dapatkan Update terbaru dari Newbie Techno.Gratis!
Share this article to your friends
