Rabu, 07 November 2012

Contoh robots.txt

Meta Robots adalah suatu rangkaian perintah kepada robots mesin telusur untuk menjelajahi situs Anda. Anda dapat menggunakan meta robots ini untuk mengatur sejauh mana si robots mengakses dan mengindeks situs Anda.

Sebagai petunjuk, di bawah ini adalah contoh robots.txt:
User-agent: *
Disallow:
Sitemap: http://dipospace.blogspot.com/feeds/posts/default?orderby=UPDATED
Sitemap: http://dipospace.blogspot.com/sitemap.xml

Ganti tulisan warna merah dengan alamat url Anda.
1 komentar: