Published on 26 September 2010 02:45 by Dennis Adrian	Comment
Category: Umum » SEO (Search Engine Optimizer)	365 Views  2063 Words
Share

Googlebot adalah nama spider yang dimiliki oleh Google. Spider ini dipakai untuk mengindeks website yang ada di Internet. Ada dua cara yang bisa kita pakai untuk membatasi akses Googlebot di website kita, yaitu dengan file robots.txt dan meta tag.

File robots.txt berisi aturan dengan sintaks sebagai berikut:

• User-Agent: nama robots
• Disallow: halaman web yang akan diblok

Nah, jika kita ingin memblok semua Web Robots (tidak hanya Googlebot), gunakan tanda bintang (*) seperti berikut:

User-Agent: *

Baris Disallow digunakan untuk menentukan nama dokumen web yang akan diblok. Entri tersebut harus diawali dengan tanda garis miring (/). Kita bisa mendefinisikan beberapa baris Disallow sekaligus dalam file robots.txt.

Berikut ini contoh penggunaannya:

1. Memblok seluruh isi situs

User-Agent: *
Disallow: /

2. Memblok direktori tertentu

User-Agent: *
Disallow: /direktori1/
Disallow: /direktori2/

3. Memblok halaman web tertentu

User-Agent: *
Disallow: /halaman-web.html

4. Memblok spider tertentu

User-Agent: Googlebot
Disallow: /

Selain dengan file robots.txt, kita juga bisa membatasi akses Googlebot dengan cara meletakkan META TAG dengan sintaks tertentu pada bagian HEAD di dokumen web kita.

Contohnya adalah sebagai berikut:

1. Googlebot tidak boleh mengindeks halaman web dan menelusuri link yang ada di situ

<meta name="robots" content="noindex, nofollow" />

2. Googlebot boleh mengindeks halaman web tapi tidak boleh menelusuri link yang ada disitu

<meta name="robots" content="index, nofollow" />

CATATAN:

• Atribut name bisa diisi “robots” atau nama robot tertentu
• Atribut content bisa berupa index, noindex, follow, atau nofollow

Selamat mencoba.

Oleh: Wahyu Wibowo

Be the first to comment.


---

Kirim Komentar

---


Login first to leave a comment.
Signup here or Login here