File robots.txt adalah file teks yang sederhana yang biasanya ditempatkan dalam root directory. File robots.txt ini dapat digunakan untuk memberitahukan pada robotnya mesin pencari agar mengunjungi/melihat dan mengindex area seperti yang kita inginkan untuk dikonsumsi oleh publik dan mencegah robot nya mesin pencari untuk masuk kedalam area yang tidak untuk konsumsi publik. Tentunya tidak semua directory dari website kita untuk konsumsi publik bukan???
Kegunaan File robots.txt
-
Menghemat bandwith webserver kita : Robotnya mesin pencari tidak ingin mengunjungi area dimana disitu tidak tersimpan informasi (misalnya: cgi-bin, images, wilayah administrator, dll). Jika kita tidak membatasinya, robot mesin pencari akan melihat wilayah yang tidak ada informasinya dan tentu saja bandwith dari webserver yang kita gunakan akan meningkat. Selain itu robot dari mesin pencari biasanya tidak ingin berlama-lama dan beberapa diantaranya memiliki batasan waktu untuk mengunjungi suatu website. Jangan-jangan jika kita tidak menggunakan robots.txt isi yang perlu dipublikasikan belum dilihat oleh robot tapi waktu yang dimiliki robot untuk mengunjungi suatu website sudah habis, ini mungkin dapat juga digunakan sebagai alasan mengapa mesin pencari lebih menyukai website yang sederhana.
-
Dapat digunakan sebagai proteksi awal : Saya sudah jelaskan diatas. Dengan adanya robots.txt dapat dijadikan proteksi awal agar halaman yang menjadi privasi buat kita tidak di konsumsi oleh publik.
April 7th, 2008 at 18:37
wah ini artikel yg menarik…kamu memang punya website yg bagus
April 7th, 2008 at 20:17
Trims Mas uwiuw, website anda juga bagus
Nopember 25th, 2008 at 23:13
Cara settingnya gimana ya mas ? Setuju sama yang diatas, artikelnya menarik nich
Desember 10th, 2008 at 07:56
bukannya dengan file robot.txt jika penulisannya sangat ceroboh bisa mempublikasikan struktur directori dari web kita bosss
ati2 dengan penggunaan robot.txt
Agustus 14th, 2009 at 04:12
menarik,,
saya sudah buat sitemap n web master tools,,,kadang ada di accunt dashboard saya di webmaster tools tentang robot.txt saya masih belum mengerti manfaatnya…trims ya infonya
salam
fikri
Desember 2nd, 2009 at 15:50
Mas kalau diblogspot gimana caranya nya, tolong dong!Sekalian kalau berkenan tolong kasi arahan, kok bisa ya kalau aku cari melalui halaman awal mozilla dan mengetik alamat blogku, kok ada komentar “blog not found” lantas harus klik go to homepage baru muncul.Atau aku harus masuk melalui akun google,baru masuk dasboard.Kan berabe ya mas, kalau aku kasi alamat blog ke orang eh nggak muncul.Apa ada kaitannya dengan robots.txt ini.Kalau boleh kirim ke email ya.Maaf SKSD, nggak apalah untukku yang newbie dan otodidak, tahan malu.