Pengertian Robot.txt
Robots.txt adalah Sebuah file dengan sebuah fungsi yang di gunakan untuk membatasi akses robot mesin pencari (Search engine misal : Google,Bing,Yahoo,dll) yang sedang menjelajahi atau membuka situs web yang anda miliki. Sebelum mereka mejelajahi halaman web, mereka memeriksa terlebih dahulu untuk melihat apakah sebuah file robots.txt ada atau kah tidak, dan di dalam robots.txt ada perintah (command) yang mencegah mereka mengakses untuk halaman tertentu.
Kita memerlukan robots.txt agar robot-robot itu tidak mengindex halaman di search engine (Google,yahoo,Bing) yang tidak kita inginkan , karena mungkin ada beberapa halaman web yang tidak ingin di index oleh search engine. Dan jika kita ingin semua content di web kita di index oleh mesin pencari kita tidak membutuhkan robots.txt
Dalam hal optimasi SEO, kemampuan Robots.txt yang dapat mengarahkan spider bot mengcrawling halaman yang ditargetkan bisa kita manfaatkan untuk mengarahkan spider bot pada halaman penting seperti halaman konten agar konten tersebut cepat terindex oleh search engine.
Saat spider bot memutuskan untuk mengcrawl situs, situs akan kehilangan bandwidth dalam jumlah yang tidak sedikit. Bila beberapa directory tertentu misal pada directory search kita batasi aksesnya maka ini akan menghemat bandwidth dan kegagalan spider bot dalam mengcrawl blog kita karena akses situs yang kurang baik akan teratasi sehingga spider bot bisa dengan leluasa merayapi seluruh isi konten sampai tuntas.
Di lain sisi bila halaman index yang di dapat search engine pada sebuah situs dinilai sangat berkualitas maka situs tersebut akan memiliki peluang besar untuk masuk halaman pertama. Hal ini akan berbeda jauh hasilnya dibandingkan dengan situs yang memiliki banyak halaman index namun dengan konten yang kurang berkualitas dan cenderung hanya menampilkan banyak link didalamnya contonya situs AGC
Berikut ini cara mengaktifkannya pada blog, mungkin semua sudah tidak asing lagi dengan yang namanya Custom robots.txt, dengan mensetting Custom robots.txt maka hal tersebut bertujuan agar blog kita mudah dikenal oleh Robot search engine, simak berikut ini
Warning:
Pengaturan Custom robots.txt yang baik dan benar akan membantu blog sobat terindex dengan baik pula, namun salah dalam penyetingan akan berakibat fatal alias buruk untuk blog sobat. So let's try this Custom robots.txt out!
Cara setting Custom robots.txt yang baik dan benar:
1. Login ke blogger
2. Pilih menu setting => Search preferences
3. lihat ke menu Crawlers and indexing, klik edit pada Custom robots.txt
.PNG)
4. Isi pada kotak kosong dengan text berikut (jangan lupa centang yes pada Enable custom robots.txt content?):
.PNG)
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.putiku.blogspot.com/feeds/posts/default?orderby=UPDATED
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.putiku.blogspot.com/feeds/posts/default?orderby=UPDATED
NB:
Ganti putiku.blogspot.com dengan alamat blog/web sobat
5. Klik Save Changes, selesai.
Sekarang Custom robots.txt blog sobat telah aktif. Semoga bermanfaat
EmoticonEmoticon