Standar pengecualian robot, juga dikenal sebagai protokol pengecualian robot atau hanya robots.txt, adalah standar yang digunakan oleh situs web untuk berkomunikasi dengan perayap web dan robot web lainnya. Standar tersebut menentukan bagaimana memberi tahu robot web tentang area situs web mana yang tidak boleh diproses atau dipindai.
Dalam praktiknya, file robots.txt menunjukkan apakah agen pengguna tertentu (perangkat lunak perayapan web) dapat atau tidak dapat merayapi bagian situs web. Petunjuk perayapan ini ditentukan dengan melarang atau mengizinkan perilaku agen pengguna tertentu (atau semua).
File Robots.txt mengontrol akses crawler ke area tertentu di situs Anda. Meskipun ini bisa sangat berbahaya jika Anda tidak sengaja melarang Googlebot merayapi seluruh situs Anda (!!), ada beberapa situasi di mana file robots.txt bisa sangat berguna.
Jika tidak ada area di situs Anda yang ingin Anda kontrol akses agen pengguna, Anda mungkin tidak memerlukan file robots.txt sama sekali.
Robots.txt dibutuhkan apabila anda ingin membatasi akses pada sebagian konten yang berada pada situs website. Jadi dengan menggunakan Robots.txt anda dapat mengatur konten mana saja yang ingin ditampilkan pada halaman web.
Apabila sebuah website memiliki konten yang hak aksesnya dibatasi, dalam kasus ini penggunaan Robots.txt dapat dijadikan sebagai security untuk menuntun pengunjung saat sedang mengunjungi situs karena tidak semua pengunjung memiliki akses yang sama pada sebuah website.
Robots.txt dapat mengaktifkan fitur disallow pada folder yang ingin di block agar Googlebot tidak melakukan crawling terhadap data tersebut. Apabila website tidak memiliki file atau data yang perlu diblokir, maka file Robots.txt tidak perlu ditambahkan. Penggunaan Robots.txt dapat digunakan untuk memaksimalkan fungsi SEO website.
Lebih jelasnya Robots.txt berfungsi untuk mengatur konten yang ingin ditampilkan atau ditutup apabila isinya kurang sesuai atau malah mengganggu tampilan dari konten website itu sendiri sehingga pengguna dapat lebih terfokus pada inti konten dan lebih cepat menangkap informasinya.
Jadi jika disimpulkan Robots.txt memiliki fungsi untuk mengontrol kinerja spiderbot, membatasi kegiatan robot bot, memblokir halaman konten yang tidak ingin ditampilkan, mengindeks informasi website, melindungi website agar data tidak mudah di hack ataupun dicuri oleh oknum tidak bertanggung jawab, serta untuk mengontrol Google atau mesin pencari untuk mengakses website tersebut.
Sebenarnya file Robots.txt sudah ada pada folder root pada server penyimpanan file (public_html). Robots.txt ini merupakan sebuah file virtual yang tidak dapat diubah ataupun diakses oleh direktori lainnya.
Jadi saat kalian membuka public_html maka kalian tidak akan menemukan file Robots.txt di dalamnya. Untuk dapat memodifikasi atau mengganti rule pada robots.txt maka harus menambahkan file baru terlebih dahulu. Membuat file robots.txt baru dan meletakkannya dalam folder public_html serta menambahkan skrip konfigurasi dengan manual. File baru ini gunanya untuk file replacement yang nanti akan ditimpakan pada file konfigurasi yang ada sebelumnya.
Robots.txt bekerja sesuai dengan perintah yang diinputkan oleh pengguna. Perintah tersebut dimasukkan dalam bentuk sintaks sesuai dengan kebutuhan website. Berikut adalah contoh sintaks yang sering digunakan, antara lain :
| 1 | Disallow: /admin/ | = | Merupakan sintaks yang digunakan untuk melarang robot bot milik mesin pencarian untuk menelusuri atau melakukan crawling pada folder admin website |
| 2 | Disallow: /config/ | = | Merupakan sintaks yang digunakan untuk melarang robot bot milik mesin pencarian untuk menelusuri atau melakukan crawling pada folder config pada website |
| 3 | User-agent: * | = | Merupakan sintaks yang digunakan sebagai penanda bahwa rules dibuat untuk semua jenis robot milik mesin pencari |
| 4 | Allow: / | = | Merupakan sintaks yang menandai bahwa website mengijinkan robot untuk melakukan crawling ataupun penelusuran data folder. Sintaks ini adalah kebalikan dari sintaks disallow |
Sebagai catatan sintaks allow maupun disallow dapat digunakan sesuai dengan kebutuhan. Cukup dengan menambahkan nama folder tertentu yang ingin dilindungi pada sintaks tersebut.
Dengan menggunakan Plugin All in One SEO Pack
Terdapat 4 langkah yang harus kalian lakukan apabila menggunakan Plugin All in One SEO diantaranya sebagai berikut:
Pertama Install All in One SEO Pack terlebih dahulu
Feature Manager
Setelah selesai menginstall All in One SEO kemudian masuk pada bagian menu, aktifkan menu robots.txt yang ada didalam menu.
Klik bagian Robots.txt
Apabila pada menu robots.txt telah aktif maka kalian dapat melihat menu robots.txt pada panel pada bagian kanan. Pada menu ini kalian dapat menambahkan user agent, rule serta directory path dalam sebuah file.
Menambahkan rules
Setelah semua tahap telah dilakukan, maka kalian bisa menambahkan rule dalam plugin. Saat membuat rule kalian bisa menyesuaikan pengaturan yang kalian inginkan dan dapat menyesuaikannya dengan search engine.
Dengan mengunggah secara manual File Robots.txt
Cara mengatur robots.txt pada WordPress dapat dilakukan dengan cara manua yakni dengan menggunakan FTP atau dengan mengakses pada panel hosting.
Pertama-tama buat terlebih dahulu file robots.txt
Masukkan lah rules pada file tersebut kemudian save.
Mengunggah file robots.txt yang telah dibuat ke server hosting
Kalian dapat menggunakan FTP untuk mengunggah file robots.txt yang telah kalian buat sebelumnya. Selain itu bisa juga menghosting melalui panel admin hostingnya.
Dengan menggunakan Plugin Yoast SEO
Install Plugin terlebih dahulu
Untuk memulainya install terlebih dahulu Plugin Yoast SEO pada laptop ataupun komputer kalian.
Masuk pada halaman Tools
Setelah selesai menginstall lanjutkan pada tahap selanjutnya yaitu menuju pada bagian menu. Pilih “SEO Tools”. Pada bagian ini terdapat beberapa pilihan menu yang akan muncul,klik pada “File Editor”.
Membuat File Robots.txt
Langkah selanjutnya yakni “Create a New Robots.txt” pada bagian ini kalian dapat menuliskan rule apa saja yang ingin kalian gunakan dan terapkan. Sesuaikan dengan kebutuhan kalian.