ROBOTS.TXT GENERATOR

Mengapa Anda Membutuhkan Robots.txt Generator?

Dengan menggunakan robots.txt generator, Anda tidak perlu menuliskan file robots.txt secara manual. Cukup masukkan perintah yang ingin Anda berikan pada web crawler, lalu atur halaman mana yang diizinkan maupun dilarang untuk dirayapi. Cara menggunakan robots.txt generator pun cukup mudah, hanya dengan beberapa klik saja.

Fungsi Robots.txt Untuk Website Anda

Robots.txt adalah file berisi perintah tertentu yang memutuskan apakah user-agent (web crawler dari tiap search engine) diizinkan atau tidak untuk merayapi (crawl) elemen website. Adapun beberapa fungsi robots.txt untuk website Anda adalah sebagai berikut:

• Memberi tahu crawler URL halaman mana yang boleh atau tidak boleh diakses
• Membantu website terhindar dari beban permintaan crawl yang terlalu banyak
• Membantu mengelola traffic crawler menuju website Anda

Lokasi File Robots.txt Dalam Website

Umumnya, lokasi file robots.txt berada dalam direktori utama website (e.g domain root atau homepage). Sebelum Anda menambahkannya, file robots.txt sudah ada di dalam folder root di server penyimpanan file (public_html).

Namun Anda tidak akan menemukan file tersebut ketika membuka public_html. Sebab, file ini bersifat virtual dan tidak dapat dimodifikasi atau diakses dari direktori lain. Untuk mengubah perintah di robots.txt, Anda perlu menambahkan file robots.txt baru dan simpan dalam folder public_html. Dengan cara ini, konfigurasi pada file baru akan menggantikan file sebelumnya.

Syntax Pada Robots.txt

Syntax robots.txt dapat diartikan sebagai perintah yang Anda gunakan untuk memberi tahu web crawler. Robots.txt generator dari cmlabs juga telah menyediakan syntax yang dikenali web crawler tersebut. Lima istilah yang biasa ditemukan dalam sebuah file robots.txt adalah sebagai berikut:

User-Agent

Yang dimaksud dengan user-agent dalam robots.txt adalah jenis web crawler spesifik yang Anda beri perintah untuk melakukan perayapan (crawling). Web crawler ini biasanya berbeda-beda tergantung search engine yang digunakan.

Beberapa contoh user-agent yang sering digunakan yaitu Googlebot, Googlebot-Mobile, Googlebot-Image, Bingbot, Baiduspider, Gigabot, Yandex, dan sebagainya.

Disallow

Perintah yang digunakan untuk memberi tahu user-agent agar tidak melakukan perayapan (crawling) pada path URL yang ditentukan. Pastikan Anda telah memasukan path yang tepat, sebab perintah ini membedakan huruf besar/kecil (misal: “/File” dan “/file” dianggap sebagai path berbeda). Anda hanya bisa menggunakan satu perintah “Disallow” untuk tiap URL.

Allow

Perintah ini digunakan untuk memberi tahu web crawler bahwa mereka diizinkan untuk mengakses path halaman atau subfolder meskipun halaman induk dari halaman atau subfolder tersebut tidak diizinkan (disallow). Pada praktiknya, perintah allow dan disallow selalu diikuti dengan perintah “directive: [path]” untuk menentukan path yang boleh atau tidak boleh dirayapi. Penulisan path harus benar-benar diperhatikan karena perintah ini membedakan huruf besar/kecil (misal: “/File” dan “/file” dianggap sebagai path berbeda).

Crawl-Delay

Fungsi perintah ini pada robots.txt adalah untuk memberi tahu web crawler bahwa mereka harus menunggu beberapa saat sebelum memuat dan merayapi (crawl) konten halaman. Perintah ini tidak berlaku untuk Googlebot, namun kecepatan perayapan bisa Anda atur melalui Google Search Console.

Sitemap

Perintah ini digunakan untuk memanggil lokasi sitemap XML yang terkait dengan suatu URL. Penulisan perintah sitemap juga harus diperhatikan, sebab perintah ini membedakan huruf besar/kecil (misal: “/Sitemap.xml” dan “/sitemap.xml” dianggap sebagai path berbeda).

Contoh Robots.txt

Setelah memahami perintah yang bisa Anda berikan kepada web crawler, selanjutnya kami akan menunjukkan contoh robots.txt milik website www.example.com, yang disimpan dalam direktori www.example.com/robots.txt berikut:

                        
                        User-agent: *
                         Allow: /

                         Sitemap: https://example.com/sitemap.xml

                         User-agent: Googlebot
                         Disallow: /nogooglebot

                        
                      

Baris pertama dan kedua merupakan perintah yang memberi tahu default web crawler bahwa mereka diizinkan untuk merayapi (crawl) URL. Sementara itu, baris ketiga digunakan untuk memanggil lokasi sitemap yang terkait dengan URL tersebut.

Baris keempat dan kelima adalah perintah yang diberikan kepada web crawler milik Google. Perintah tersebut tidak mengizinkan Googlebot untuk merayapi direktori website Anda (melarang Google merayapi (crawl) path file “/nogooglebot”).

Batasan Robots.txt

Sebelum membuat robots.txt, Anda perlu mengetahui batasan yang dimiliki file robots.txt berikut:

Mungkin tidak didukung pada search engine tertentu

Meskipun Google dan search engine ternama liannya telah mematuhi perintah dalam file robots.txt, beberapa crawler milik search engine lain mungkin tidak mematuhinya.

Crawler yang berbeda menafsirkan syntax dengan cara berbeda

Masing-masing search engine memiliki web crawler yang berbeda, setiap crawler mungkin menafsirkan perintah dengan cara berbeda. Walaupun sejumlah crawler ternama telah mengikuti syntax yang ditulis dalam file robots.txt, namun beberapa crawler mungkin tidak memahami perintah tertentu.

Halaman yang tidak diizinkan pada robots.txt masih bisa diindeks jika ditautkan pada halaman lain

Meskipun Google tidak merayapi (crawl) atau mengindeks konten yang tidak diizinkan oleh robots.txt, namun Google masih bisa menemukan dan mengindeks URL tersebut jika ditautkan dari website lain. Sehingga, alamat URL dan informasi yang tersedia secara publik bisa muncul di hasil penelusuran Google.

Demikian pembahasan mengenai robots.txt generator dari cmlabs. Dengan memanfaatkan tool ini, Anda bisa menyederhanakan alur kerja dalam membuat file robots.txt. Hanya dengan beberapa klik, Anda bisa menambahkan konfigurasi pada file robots.txt yang baru.

Cara Menggunakan Robots.txt Generator

Adapun cara membuat file robots.txt menggunakan tool ini adalah sebagai berikut:

Buka Halaman Robots.txt Generator

Salah satu cara membuat file robots.txt yaitu dengan mengunjungi halaman robots.txt generator. Pada halaman tersebut, Anda dapat mengatur perintah yang akan Anda berikan pada web crawler.

Gambar 1: Tampilan halaman robots.txt generator dari cmlabs

Pilih Izin Akses Untuk Robot Default

Tentukan izin akses untuk default web crawler apakah mereka diizinkan untuk merayapi (crawl) URL atau tidak. Terdapat dua opsi yang bisa Anda pilih yaitu izinkan (allow) dan jangan izinkan (disallow).

Gambar 2: Tampilan dropdown opsi izin yang diberikan kepada robot default

Atur Penundaan Crawl (Crawl Delay)

Anda bisa mengatur berapa lama penundaan perayapan (crawl delay) yang akan dilakukan oleh web crawler. Jika Anda mengatur crawl-delay maka web crawler akan menunggu beberapa waktu sebelum merayapi URL Anda. Robots.txt generator memungkinkan Anda untuk memilih tanpa penundaan crawl atau menunda selama 5 hingga 120 detik.

Gambar 3: Tampilan dropdown opsi penundaan crawl yang diberikan kepada robot default

Masukkan Sitemap (Jika Ada)

Sitemap merupakan file yang memuat daftar URL dari website Anda, dengan file ini web crawler akan lebih mudah merayapi (crawl) dan mengindeks situs. Anda bisa memasukkan path sitemap ke dalam field yang disediakan.

Pastikan Anda telah memasukkan path sitemap yang tepat, sebab perintah ini membedakan huruf besar/kecil (misal: "/Sitemap.xml" dan "/sitemap.xml" dianggap sebagai path berbeda).

Gambar 4: Tampilan field untuk memasukkan path sitemap yang terkait dengan URL Anda

Tambahkan Directive Dalam Robots.txt

Dengan menggunakan robots.txt generator, Anda bisa menambahkan beberapa directive pada file robots.txt dengan menekan tombol "Add Directive". Directive adalah perintah yang diberikan kepada web crawler untuk memberi tahu apakah Anda mengizinkan atau menolak mereka untuk merayapi URL tertentu.

Gambar 5: Tombol untuk menambahkan perintah yang akan dieksekusi oleh web crawler

Pada robots.txt generator, terdapat tiga aturan yang perlu Anda sesuaikan pada bagian directive, yaitu:

Atur Izin Akses

Anda bisa mengatur izin akses yang diberikan kepada web crawler, apakah anda mengizinkan atau melarang mereka merayapi halaman web Anda. Opsi yang bisa digunakan yaitu izinkan (allow) dan jangan izinkan (disallow).

Gambar 6: Pilihan izin akses yang akan diberikan kepada web crawler

Pilih User-Agent

User-agent adalah jenis web crawler yang akan Anda perintahkan untuk melakukan perayapan (crawling). Pilihan web crawler ini bergantung pada search engine yang digunakan, seperti Baiduspider, Bingbot, Googlebot, dan lainnya. Opsi web crawler dapat dipilih melalui dropdown user-agent yang tersedia.

Gambar 7: Pilihan user agent yang tersedia di cmlabs robots.txt generator

Masukkan Direktori / Path File

Direktori atau path file adalah lokasi spesifik dari halaman yang boleh atau tidak boleh dirayapi oleh web crawler. Penulisan path harus benar-benar diperhatikan, sebab perintah ini membedakan huruf besar/kecil (misal: "/File" dan "/file" dianggap sebagai path berbeda).

Gambar 8: Field untuk menambahkan path yang akan dirayapi (crawl) oleh crawler

Salin Syntax Robots.txt

Setelah menginputkan perintah untuk web crawler pada field yang disediakan, Anda akan melihat pratinjau file robots.txt pada bagian kanan. Anda bisa menyalin syntax yang telah dihasilkan tersebut dan menempelnya pada file robots.txt yang telah Anda buat.

Gambar 9: Opsi menyalin syntax pada robots.txt generator.

Ekspor Syntax Robots.txt

Jika Anda tidak tahu cara membuat file robots.txt sendiri, Anda dapat mengekspor file yang telah dihasilkan cmlabs. Untuk mengunduh file robots tersebut, caranya cukup mudah. Anda bisa memilih opsi "Ekspor" yang terdapat dalam tools robots.text generator. Selanjutnya, tool ini akan memulai pengunduhan dan Anda akan menerima file robots.txt.

Gambar 10: Opsi ekspor data pada robots.txt generator.

Hapus Directive yang Tidak Diperlukan

Jika Anda ingin menghapus directive yang tidak dibutuhkan, maka Anda bisa mengklik ikon silang yang ada di sebelah kanan field untuk memasukkan directive tersebut. Perlu diperhatikan, field yang dihapus tidak dapat dipulihkan kembali.

Gambar 11: Opsi hapus data directive pada robots.txt generator

Reset Robots.txt Generator

Tool ini memiliki opsi yang memudahkan Anda dalam menemukan cara membuat file robots.txt lainnya. Klik opsi "Reset" untuk menghapus seluruh perintah yang Anda atur dalam robots.txt sebelumnya. Selanjutnya, Anda bisa membuat konfigurasi file robots.txt baru.

Gambar 12: Opsi reset data pada robots.txt generator.