Setelah pada artikel sebelumnya dibahas mengenai kegunaan file robots.txt, pada artikel kali ini adalah mengenai dasar-dasar pengetahuan tentang robots.txt, yang diantaranya adalah sebagai berikut:

• Pemberian nama file harus “robots.txt” (huruf kecil semua). Tidak boleh robot.txt atau Robots.txt.

• File harus yang mendukung tipe linux (misal untuk ganti baris linefeed,”\n”). Kita dapat menggunakan editor yang mendukung mode unix atau menggunakan robots.txt generator yang sudah banyak beredar di internet.

Continue Reading

File robots.txt adalah file teks yang sederhana yang biasanya ditempatkan dalam root directory. File robots.txt ini dapat digunakan untuk memberitahukan pada robotnya mesin pencari agar mengunjungi/melihat dan mengindex area seperti yang kita inginkan untuk dikonsumsi oleh publik dan mencegah robot nya mesin pencari untuk masuk kedalam area yang tidak untuk konsumsi publik. Tentunya tidak semua directory dari website kita untuk konsumsi publik bukan??? Continue Reading

Dilihat dari judulnya saya berpendapat bahwa PageRank mempengaruhi hasil ranking pencarian di Search Engine (SERP), tetapi seberapa besar pengaruh PageRank dalam Search Engine akan dibahas pada artikel ini. Dalam paper yang dipublikasikan oleh pendiri Google (Lawrence Page dan Sergey Bin), ranking halaman web di hasil pencarian Search Engine (SERP) ditentukan oleh tiga faktor :

• Dokumen yang spesifik dan ditentukan berdasarkan isi content, penggunaan meta tag, judul, dll
• Anchor text dari backlink, teknik ini digunakan untuk mengatasi kekurangan dari teknologi penggunaan Meta tag.
• PageRank dimana teknologi ini digunakan untuk menentukan seberapa besar nilai dari kualitas web tersebut.

Continue Reading