Posted on 18 April 2008 by gembong
Pada artikel sebelumnya tentang robots.txt (File robots.txt, Pengetahuan Dasar robots.txt) dijelaskan bahwa untuk mengatur atau mengendalikan robot dari mesin pencari atau search engine menggunakan file robots.txt yang diletakkan dalam root direktori. Pada artikel ini akan saya jelaskan bahwa disamping dengan menggunakan file robots.txt dapat digunakan pula dengan meta tag yang ada pada halaman web. Mengendalikan robot mesin pencari dengan Meta Tag hanya khusus digunakan untuk mengatur suatu halaman tersebut agar terindex atau tidak terindex di mesin pencari dan penambahan atribut follow atau nofollow.
Format robots dalam Meta Tag
Meta Robots diletakkan diantara tag <HEAD> dan </HEAD> dengan menggunakan atribut NAME dan CONTENT. Untuk atribut “NAME” harus diisi dengan “ROBOTS” sedangkan atribut “CONTENT” diisi dengan kombinasi antara “INDEX“, “NOINDEX” dengan “FOLLOW” dan “NOFOLLOW“. Continue Reading
Posted on 08 April 2008 by gembong
Bagi yang kesulitan dengan kode-kodenya untuk membuat file robots.txt, berikut ini saya berikan contoh isi dari dile robots.txt untuk wordpress :
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads Continue Reading
Posted on 07 April 2008 by gembong
Pada artikel sebelumnya tentang Mengirim Sitemap ke Google, kita telah sedikit mengenal tentang Google Webmasters Tools. Pada artikel kali ini saya ingin menulis untuk memahami lebih jauh tentang Google Webmasters Tools ini, selain yang digunakan untuk mengirimkan sitemap suatu website. Tools ini diciptakan oleh Google untuk membantu para webmaster/pengelola website agar website yang dikelolanya friendly dengan Google . Beberapa hal yang dapat digunakan dalama Google Webmasters Tools ini adalah
- Crawl info : untuk meyakinkan bahwa robotnya Google telah melihat website dan mengunjungi website. Selain itu kita juga dapat melihat alamat URL dimana robot tidak bisa mengunjunginya dan mengetahui sebab-sebab kenapa robot tidak bisa mengunjungi halaman website.
Continue Reading
Posted on 05 April 2008 by gembong
Setelah pada artikel sebelumnya dibahas mengenai kegunaan file robots.txt, pada artikel kali ini adalah mengenai dasar-dasar pengetahuan tentang robots.txt, yang diantaranya adalah sebagai berikut:
-
Pemberian nama file harus “robots.txt” (huruf kecil semua). Tidak boleh robot.txt atau Robots.txt.
-
File harus yang mendukung tipe linux (misal untuk ganti baris linefeed,”\n”). Kita dapat menggunakan editor yang mendukung mode unix atau menggunakan robots.txt generator yang sudah banyak beredar di internet.
Continue Reading
Posted on 04 April 2008 by gembong
File robots.txt adalah file teks yang sederhana yang biasanya ditempatkan dalam root directory. File robots.txt ini dapat digunakan untuk memberitahukan pada robotnya mesin pencari agar mengunjungi/melihat dan mengindex area seperti yang kita inginkan untuk dikonsumsi oleh publik dan mencegah robot nya mesin pencari untuk masuk kedalam area yang tidak untuk konsumsi publik. Tentunya tidak semua directory dari website kita untuk konsumsi publik bukan??? Continue Reading
Posted on 20 Maret 2008 by gembong
Sebagai pemilik/pengelola web, kita dapat mengendalikan atau mengatur halaman web mana yang perlu atau tidak perlu untuk dimasukkan dalam index database mesin pencari / search engine, cara yang biasanya digunakan adalah dengan file robots.txt atau Meta Tag robot (baca disini mengenai Meta Tag robots), tetapi kadang masih ada yang terlewatkan dalam mengatur dengan kedua cara tersebut dan kadang para pemilik website sedikit malas jika harus memasukkan beberapa kode lewat file robots.txt atau Meta Tag robots.
Untuk mengatasi hal ini, mesin pencari Google mempunyai suatu cara jika kita menemukan suatu halaman web kita di mesin pencari / search engine Google , tetapi sebenarnya kita tidak ingin halaman web tersebut untuk dipublikasikan lewat mesin pencari / search engine. Cara menghapus halaman web lewat Google adalah dengan menggunakan fasilitas yang telah ada dalam Google Webmaster. Continue Reading
