Mengetahui Fungsi File Robots.Txt

Baiklah anda mungkin sudah tidak asing lagi mendengar kata robots.txt jika anda seorang blogger lama atau baru.

Karena kata ini pasti akan sering anda temui ketika sedang mengotak atik blog anda atau sedang serching dalam sebuah halaman blog.

Pada kali ini saya akan mencoba membahasnya sesuai dengan apa yang saya ketahui, namun sebelumnya mungkin anda tertarik untuk membaca Cara tambahkan map ke blog.

Pengertian Robot.Txt

Robot.Txt merupakan sebuah file dengan format .txt yang harus di miliki oleh semua website yang di daftarkan kepada mesin pencari seperti googe, bing maupun yang lainya.

Secara sederhana fungsi robot.txt adalah untuk mengontrol suatu halaman atau direktori mana yang boleh di tampilkan oleh mesin pecari.

Sistem Kerja Robot.Txt

Cara sederhananya adalah ketika situs atau website anda di daftarkan pada mesin pencari, maka secara otomatis anda memperbolehkan mesin pencari untuk merayapi blog anda.

Nah pada saat mesin pencari merayapi blog anda yang pertama di crawl adalah bagian robot.Txt, maka dari itu file.Txt harus di letakan pada punlic folder html.

File robot.txt ini berisi tentang perintah perintah yang pada bot crawl mengenai halaman mana saja yang boleh di index oleh mesin pencari.

Hal ini di lakukan untuk melindungi sistem yang tidak boleh menjadi informasi umum , demi keamanan blog atau website anda.

Cara Mengatur File Robot.Txt

Jika anda ingin mengedit anda harus benar benar faham sebelum anda mengedit file txt, karena jika anda tidak faham maka salah salah blog anda tidak akan terindex secara keseluruhan.

1. Memblokir Url

Langkah ini bisa anda lakukan jika anda ingin beberapa rtikel anda tidak tampil pada halaman mesin pencari, caranya anda hanya perlu menempatkan kode di bawah ini.

user-agent: *

disalllow: /2012/11/url-permalink-posting.html 

Url yang di atas adalah merupakan alamat url yang tidak akan di tampilkan dalam setiap halamn home page.

2. Memblokir Folder atau Direktori

Ketika anda hendak melarang mesin pencari menampilkan sebuah folder tertentu anda bisa gunakan kode di bawh ini.

user-agent: *
disallow: /cgi-bin/
disallow: /wp-admin/
disallow: /wp-includes/
disallow: /wp-content/plugins/
disallow: /wp-content/cache/
disallow: /wp-content/themes

Mungkin cukup dua saja sebagi contoh sebenarnya masih ada lagi namun saya juga kurang begitu faham, maka saya beri dua contoh saja.

Semoga penjelasn yang singkat di atas ini bisa membantu rasa penasaran anda tentang robot.Txt dan terimaksih telah berkunjung, jangan sungkan untuk bertanya atau memberi masukan. Salam Publisher

Baca Juga : Hukum Google Adsense