Pada artikel sebelumnya tentang robots.txt (File robots.txt, Pengetahuan Dasar robots.txt) dijelaskan bahwa untuk mengatur atau mengendalikan robot dari mesin pencari atau search engine menggunakan file robots.txt yang diletakkan dalam root direktori. Pada artikel ini akan saya jelaskan bahwa disamping dengan menggunakan file robots.txt dapat digunakan pula dengan meta tag yang ada pada halaman web. Mengendalikan robot mesin pencari dengan Meta Tag hanya khusus digunakan untuk mengatur suatu halaman tersebut agar terindex atau tidak terindex di mesin pencari dan penambahan atribut follow atau nofollow.
Format robots dalam Meta Tag
Meta Robots diletakkan diantara tag <HEAD> dan </HEAD> dengan menggunakan atribut NAME dan CONTENT. Untuk atribut “NAME” harus diisi dengan “ROBOTS” sedangkan atribut “CONTENT” diisi dengan kombinasi antara “INDEX“, “NOINDEX” dengan “FOLLOW” dan “NOFOLLOW“. Secara default suatu halaman web yang jika kita tidak mengatur robot dari mesin pencari baik lewat file robots.txt maupun meta tag, atribut CONTENT akan bernilai INDEX dan FOLLOW. Jadi kombinasi robots di Meta Tag hanya tinggal 3, yaitu:
<meta name="ROBOTS" content="NOINDEX, FOLLOW" />
<meta name="ROBOTS" content="INDEX, NOFOLLOW" />
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW" />
Nilai “INDEX” berarti agar halaman tersebut dapat terindex oleh mesin pencari sedangkan “NOINDEX” berarti agar halaman tersebut tidak terindex dalam mesin pencari.
Untuk Nilai “FOLLOW” berarti link halaman tersebut akan diperhitungkan dan “NOFOLLOW” berlaku sebaliknya. Pemberian atribut “FOLLOW” dan “NOFOLLOW” yang tepat dapat meningkatkan PageRank pada website. Untuk memahami perhitungan PageRank, Baca artikel Seri Tutorial PageRank di website ini.
Contoh format penulisan robots di Meta Tag:
<html>
<head>
<title>...</title>
<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>
</head>
Selamat Mencoba 
September 19th, 2008 at 00:34
Terima kasih mas gembong……
Desember 26th, 2008 at 16:55
mau nanya nich..tentang “meta robot”
klu yg khusus agar website Qt lbih cpat terindex d mesin pencarian itu yg mana yg hrs di tulis meta-y…???
jika content-y :
“noindex” maksudnya ap..??
“index” maksudnya ap..??
“nofollow” maksudnya ap..??
“follow” maksudnya ap..??
klu bisa krim lewat e-mail saya…
oke thanksss yaaa
Januari 5th, 2009 at 15:29
Sekali lagi makasih…
April 29th, 2009 at 03:18
Mas Gembong, Mau tanya neh supaya dijawab yg lengkap :
1. Saya masih awam tentang robots.txt jadi mohon penjelasan.
2. Apa bedanya meta robots.txt dengan robots.txt.
3. robots.txt dalam menaikan page rank dan hubungannya dg SEO.
Tolong di jawab ke email biar saya mengerti.
Terima Kasih
Juni 13th, 2009 at 21:21
Mas Gembong mau nyana ne…tentang meta tag
gak ngerti2 ne…. dimana tempatnya untuk di blog.
apakah di TATA LETAK edit HTML edit template…diatsnya atw
gimana??? please…jawab via email ya mas gembong. TRims
Juni 21st, 2009 at 10:08
thanks info nya.. semoga bermanfaat
Juni 27th, 2009 at 14:31
saya rasa penjelasan mas gembong udah singkat jelas dan padat serta mudah di cerna .. tolong mas baca lagi dari atas klo belom paham juga silahkan baca artikel sebelumnya tentang fungsi robots.txt dlm suatu website
http://gembong.web.id/file-robotstxt/
Juli 2nd, 2009 at 01:13
Terima kasih
Juli 2nd, 2009 at 01:14
Sekali lagi makasih…
Juli 6th, 2009 at 12:34
nah mas kalo meta-nya kaya mas maksudnya apa ya
name=”keywords” content=”meta, robots.txt, tag, index, robot, noindex, follow, nofollow
Bagi2 ilmunya donk,
Juli 22nd, 2009 at 21:38
BAGUS SEKALI POSTINGANNYA
Agustus 11th, 2009 at 02:27
saya kok gak tahu yaaa… yaaaaaaaa
baru tahu… sya………… ha ha ha ha a aha ah
Agustus 31st, 2009 at 20:42
terus bagusnya kita pakai yang mana mas..
Februari 25th, 2010 at 23:39
saya baru belajar mengelola robots untuk blog wordpress saya nih mas, salam.
Mei 10th, 2010 at 08:38
trims siap dicoba..