ROBOT.TXT GENERATOR

Mengapa Anda Membutuhkan Robots.txt Generator?

Dengan menggunakan robots.txt generator, Anda tidak perlu menuliskan file robots.txt secara manual. Cukup masukkan perintah yang ingin Anda berikan pada web crawler, lalu atur halaman mana yang diizinkan maupun dilarang untuk dirayapi. Cara menggunakan robots.txt generator pun cukup mudah, hanya dengan beberapa klik saja.

Fungsi Robots.txt Untuk Website Anda

Robots.txt adalah file berisi perintah tertentu yang memutuskan apakah user-agent (web crawler dari tiap search engine) diizinkan atau tidak untuk merayapi (crawl) elemen website. Adapun beberapa fungsi robots.txt untuk website Anda adalah sebagai berikut:

• Memberi tahu crawler URL halaman mana yang boleh atau tidak boleh diakses
• Membantu website terhindar dari beban permintaan crawl yang terlalu banyak
• Membantu mengelola traffic crawler menuju website Anda

Lokasi File Robots.txt Dalam Website

Umumnya, lokasi file robots.txt berada dalam direktori utama website (e.g domain root atau homepage). Sebelum Anda menambahkannya, file robots.txt sudah ada di dalam folder root di server penyimpanan file (public_html).

Namun Anda tidak akan menemukan file tersebut ketika membuka public_html. Sebab, file ini bersifat virtual dan tidak dapat dimodifikasi atau diakses dari direktori lain. Untuk mengubah perintah di robots.txt, Anda perlu menambahkan file robots.txt baru dan simpan dalam folder public_html. Dengan cara ini, konfigurasi pada file baru akan menggantikan file sebelumnya.

Syntax Pada Robots.txt

Syntax robots.txt dapat diartikan sebagai perintah yang Anda gunakan untuk memberi tahu web crawler. Robots.txt generator dari cmlabs juga telah menyediakan syntax yang dikenali web crawler tersebut. Lima istilah yang biasa ditemukan dalam sebuah file robots.txt adalah sebagai berikut:

User-Agent

Yang dimaksud dengan user-agent dalam robots.txt adalah jenis web crawler spesifik yang Anda beri perintah untuk melakukan perayapan (crawling). Web crawler ini biasanya berbeda-beda tergantung search engine yang digunakan.

Beberapa contoh user-agent yang sering digunakan yaitu Googlebot, Googlebot-Mobile, Googlebot-Image, Bingbot, Baiduspider, Gigabot, Yandex, dan sebagainya.

Disallow

Perintah yang digunakan untuk memberi tahu user-agent agar tidak melakukan perayapan (crawling) pada path URL yang ditentukan. Pastikan Anda telah memasukan path yang tepat, sebab perintah ini membedakan huruf besar/kecil (misal: “/File” dan “/file” dianggap sebagai path berbeda). Anda hanya bisa menggunakan satu perintah “Disallow” untuk tiap URL.

Allow

Perintah ini digunakan untuk memberi tahu web crawler bahwa mereka diizinkan untuk mengakses path halaman atau subfolder meskipun halaman induk dari halaman atau subfolder tersebut tidak diizinkan (disallow). Pada praktiknya, perintah allow dan disallow selalu diikuti dengan perintah “directive: [path]” untuk menentukan path yang boleh atau tidak boleh dirayapi. Penulisan path harus benar-benar diperhatikan karena perintah ini membedakan huruf besar/kecil (misal: “/File” dan “/file” dianggap sebagai path berbeda).

Crawl-Delay

Fungsi perintah ini pada robots.txt adalah untuk memberi tahu web crawler bahwa mereka harus menunggu beberapa saat sebelum memuat dan merayapi (crawl) konten halaman. Perintah ini tidak berlaku untuk Googlebot, namun kecepatan perayapan bisa Anda atur melalui Google Search Console.

Sitemap

Perintah ini digunakan untuk memanggil lokasi sitemap XML yang terkait dengan suatu URL. Penulisan perintah sitemap juga harus diperhatikan, sebab perintah ini membedakan huruf besar/kecil (misal: “/Sitemap.xml” dan “/sitemap.xml” dianggap sebagai path berbeda).

Contoh Robots.txt

Setelah memahami perintah yang bisa Anda berikan kepada web crawler, selanjutnya kami akan menunjukkan contoh robots.txt milik website www.example.com, yang disimpan dalam direktori www.example.com/robots.txt berikut:

                        
                        User-agent: *
                         Allow: /

                         Sitemap: https://example.com/sitemap.xml

                         User-agent: Googlebot
                         Disallow: /nogooglebot

                        
                      

Baris pertama dan kedua merupakan perintah yang memberi tahu default web crawler bahwa mereka diizinkan untuk merayapi (crawl) URL. Sementara itu, baris ketiga digunakan untuk memanggil lokasi sitemap yang terkait dengan URL tersebut.

Baris keempat dan kelima adalah perintah yang diberikan kepada web crawler milik Google. Perintah tersebut tidak mengizinkan Googlebot untuk merayapi direktori website Anda (melarang Google merayapi (crawl) path file “/nogooglebot”).

Batasan Robots.txt

Sebelum membuat robots.txt, Anda perlu mengetahui batasan yang dimiliki file robots.txt berikut:

Mungkin tidak didukung pada search engine tertentu

Meskipun Google dan search engine ternama liannya telah mematuhi perintah dalam file robots.txt, beberapa crawler milik search engine lain mungkin tidak mematuhinya.

Crawler yang berbeda menafsirkan syntax dengan cara berbeda

Masing-masing search engine memiliki web crawler yang berbeda, setiap crawler mungkin menafsirkan perintah dengan cara berbeda. Walaupun sejumlah crawler ternama telah mengikuti syntax yang ditulis dalam file robots.txt, namun beberapa crawler mungkin tidak memahami perintah tertentu.

Halaman yang tidak diizinkan pada robots.txt masih bisa diindeks jika ditautkan pada halaman lain

Meskipun Google tidak merayapi (crawl) atau mengindeks konten yang tidak diizinkan oleh robots.txt, namun Google masih bisa menemukan dan mengindeks URL tersebut jika ditautkan dari website lain. Sehingga, alamat URL dan informasi yang tersedia secara publik bisa muncul di hasil penelusuran Google.

Demikian pembahasan mengenai robots.txt generator dari cmlabs. Dengan memanfaatkan tool ini, Anda bisa menyederhanakan alur kerja dalam membuat file robots.txt. Hanya dengan beberapa klik, Anda bisa menambahkan konfigurasi pada file robots.txt yang baru.