Berikut ini beberapa contoh penulisan perintah di dalam file robots.txt :

Untuk mempersilakan semua program robot untuk mengindeks situs sobat, maka cukup tuliskan baris berikut:

User-agent: *

Disallow:

Penjelasan: semua robot tidak ada yang dilarang alias bebas mengindeks. Perintah ini paling lazim digunakan para pemilik situs.

Sebaliknya, jika ingin melarang robot manapun untuk mengindeks situs sobat, maka tuliskan baris berikut:

User-agent: *

Disallow: /

Penjelasan: semua robot dilarang mengindeks (misalnya dipakai di situs underground)

Untuk melarang para robot mengakses halaman tertentu, tuliskan baris berikut:

User-agent: *

Disallow: /login.html

Disallow: /cadangan/

Disallow: /member/info.php

Penjelasan: robot tidak boleh mengindeks file login.html, folder cadangan, dan halaman info.php di folder member.

Untuk melarang sebuah program robot tertentu namun mengijinkan robot-robot lainnya, tuliskan baris berikut:

User-agent: NamaRobot

Disallow: /

Penjelasan: robot bernama NamaRobot tidak boleh mengindeks, yang lain boleh (baca catatan di bagian akhir untuk mengenal nama robot).

Untuk mengijinkan sebuah robot tertentu dan melarang robot-robot lainnya, tuliskan baris berikut:

User-agent: Google

Disallow:

User-agent: *

Disallow: /

Penjelasan: robot Google boleh mangeindeks, lainnya tidak boleh.

Sebagai tip, Anda juga dapat menuliskan lokasi file sitemap.xml situs sobat di baris terakhir:

User-agent: *

Disallow:

Sitemap: http://www.blogrikky.blogspot.com/feeds/posts/default?orderby=updated

Penjelasan: tambahkan url lengkap alamat file sitemap situs sobat. Jika punya beberapa sitemap, tuliskan di baris berikutnya.

Beberapa robot mesin pencari terkemuka juga bisa memahami penggunaan wildcard untuk melarang beberapa lokasi dengan satu atau dua baris perintah:

User-agent: *

Disallow: /*.pdf$

Disallow: /arsip*/

Penjelasan: baris kedua melarang semua robot mengindeks semua file pdf. Baris ketiga melarang pengindeksan pada folder-folder yang diawali dengan kata arsip (misalnya /arsip-2010, /arsip-2011, /arsiplama, dan sebagainya).

Catatan penting :

Hati-hati dalam menyusun perintah di robots.txt, kesalahan perintah bisa berakibat situs sobat tidak terindeks oleh mesin pencari. File robots.txt harus diberi nama persis: robots.txt dan bukan dengan nama lain (pastikan huruf kecil semua). File robots.txt harus diletakkan di direktori utama (root). Contoh : http://www.blogrikky.blogspot.com/robots.txt . Khusus pengguna Blogger, sobat dapat membuat file robots.txt untuk blog Anda via fitur yang telah tersedia di bagian: Setelan > Preferensi penelusuran > Perayap dan pengindeksan. Jika Anda ingin melarang program robot tertentu namun tidak mengetahui nama User-agent-nya, maka periksa log atau analisis statistik situs sobat, atau temukan daftarnya di situs http://www.user-agents.org. Jika sobat ingin agar sebuah halaman atau folder rahasia di situs sobat tidak diindeks program robot, sebaiknya jangan menggunakan robots.txt untuk melarangnya. Hal ini disebabkan file robots.txt dapat diakses dan dilihat oleh siapapun, sehingga justru akan menjadi bumerang. Gunakan file .htaccess atau metode pengaman lainnya jika memang sobat ingin benar-benar merahasiakan lokasi tertentu.

Hanya ini yang bisa saya berikan kali ini kepada sobat pembaca blog, semoga saja artikel kali ini bermanfaat bagaimana cara membuat robot txt usaha untuk meningkatkan seo blog sehingga juga akan meningkatkan kunjungan situs blog milik sobat.