File robots.txt adalah file teks yang sederhana yang biasanya ditempatkan dalam root directory. File robots.txt ini dapat digunakan untuk memberitahukan pada robotnya mesin pencari agar mengunjungi/melihat dan mengindex area seperti yang kita inginkan untuk dikonsumsi oleh publik dan mencegah robot nya mesin pencari untuk masuk kedalam area yang tidak untuk konsumsi publik. Tentunya tidak semua directory dari website kita untuk konsumsi publik bukan??? Continue Reading