Logo

ROBOTS TXT GENERATOR

PEMBUAT ROBOTS.txt ONLINE

Apa itu Robots.txt?

Standar pengecualian robot, juga dikenal sebagai protokol pengecualian robot atau hanya robots.txt, adalah standar yang digunakan oleh situs web untuk berkomunikasi dengan perayap web dan robot web lainnya. Standar tersebut menentukan bagaimana memberi tahu robot web tentang area situs web mana yang tidak boleh diproses atau dipindai.

Dalam praktiknya, file robots.txt menunjukkan apakah agen pengguna tertentu (perangkat lunak perayapan web) dapat atau tidak dapat merayapi bagian situs web. Petunjuk perayapan ini ditentukan dengan melarang atau mengizinkan perilaku agen pengguna tertentu (atau semua).

Mengapa Situs Anda Membutuhkan Robots.txt?

File Robots.txt mengontrol akses crawler ke area tertentu di situs Anda. Meskipun ini bisa sangat berbahaya jika Anda tidak sengaja melarang Googlebot merayapi seluruh situs Anda (!!), ada beberapa situasi di mana file robots.txt bisa sangat berguna.

Jika tidak ada area di situs Anda yang ingin Anda kontrol akses agen pengguna, Anda mungkin tidak memerlukan file robots.txt sama sekali.

Fungsi Utama Robots.txt Untuk Situs Website Anda

Robots.txt dibutuhkan apabila anda ingin membatasi akses pada sebagian konten yang berada pada situs website. Jadi dengan menggunakan Robots.txt anda dapat mengatur konten mana saja yang ingin ditampilkan pada halaman web.

Apabila sebuah website memiliki konten yang hak aksesnya dibatasi, dalam kasus ini penggunaan Robots.txt dapat dijadikan sebagai security untuk menuntun pengunjung saat sedang mengunjungi situs karena tidak semua pengunjung memiliki akses yang sama pada sebuah website.

Robots.txt dapat mengaktifkan fitur disallow pada folder yang ingin di block agar Googlebot tidak melakukan crawling terhadap data tersebut. Apabila website tidak memiliki file atau data yang perlu diblokir, maka file Robots.txt tidak perlu ditambahkan. Penggunaan Robots.txt dapat digunakan untuk memaksimalkan fungsi SEO website.

Lebih jelasnya Robots.txt berfungsi untuk mengatur konten yang ingin ditampilkan atau ditutup apabila isinya kurang sesuai atau malah mengganggu tampilan dari konten website itu sendiri sehingga pengguna dapat lebih terfokus pada inti konten dan lebih cepat menangkap informasinya.

Jadi jika disimpulkan Robots.txt memiliki fungsi untuk mengontrol kinerja spiderbot, membatasi kegiatan robot bot, memblokir halaman konten yang tidak ingin ditampilkan, mengindeks informasi website, melindungi website agar data tidak mudah di hack ataupun dicuri oleh oknum tidak bertanggung jawab, serta untuk mengontrol Google atau mesin pencari untuk mengakses website tersebut.

Letak File Robots.txt

Sebenarnya file Robots.txt sudah ada pada folder root pada server penyimpanan file (public_html). Robots.txt ini merupakan sebuah file virtual yang tidak dapat diubah ataupun diakses oleh direktori lainnya.

Jadi saat kalian membuka public_html maka kalian tidak akan menemukan file Robots.txt di dalamnya. Untuk dapat memodifikasi atau mengganti rule pada robots.txt maka harus menambahkan file baru terlebih dahulu. Membuat file robots.txt baru dan meletakkannya dalam folder public_html serta menambahkan skrip konfigurasi dengan manual. File baru ini gunanya untuk file replacement yang nanti akan ditimpakan pada file konfigurasi yang ada sebelumnya.

Tag/Skenario Perintah Robots.txt

Robots.txt bekerja sesuai dengan perintah yang diinputkan oleh pengguna. Perintah tersebut dimasukkan dalam bentuk sintaks sesuai dengan kebutuhan website. Berikut adalah contoh sintaks yang sering digunakan, antara lain :

1 Disallow: /admin/ = Merupakan sintaks yang digunakan untuk melarang robot bot milik mesin pencarian untuk menelusuri atau melakukan crawling pada folder admin website
2 Disallow: /config/ = Merupakan sintaks yang digunakan untuk melarang robot bot milik mesin pencarian untuk menelusuri atau melakukan crawling pada folder config pada website
3 User-agent: * = Merupakan sintaks yang digunakan sebagai penanda bahwa rules dibuat untuk semua jenis robot milik mesin pencari
4 Allow: / = Merupakan sintaks yang menandai bahwa website mengijinkan robot untuk melakukan crawling ataupun penelusuran data folder. Sintaks ini adalah kebalikan dari sintaks disallow

Sebagai catatan sintaks allow maupun disallow dapat digunakan sesuai dengan kebutuhan. Cukup dengan menambahkan nama folder tertentu yang ingin dilindungi pada sintaks tersebut.

Cara mengaktifkan Robot.txt pada WordPress

  • Dengan menggunakan Plugin All in One SEO Pack

    Terdapat 4 langkah yang harus kalian lakukan apabila menggunakan Plugin All in One SEO diantaranya sebagai berikut:

    1. Pertama Install All in One SEO Pack terlebih dahulu

    2. Feature Manager

      Setelah selesai menginstall All in One SEO kemudian masuk pada bagian menu, aktifkan menu robots.txt yang ada didalam menu.

    3. Klik bagian Robots.txt

      Apabila pada menu robots.txt telah aktif maka kalian dapat melihat menu robots.txt pada panel pada bagian kanan. Pada menu ini kalian dapat menambahkan user agent, rule serta directory path dalam sebuah file.

    4. Menambahkan rules

      Setelah semua tahap telah dilakukan, maka kalian bisa menambahkan rule dalam plugin. Saat membuat rule kalian bisa menyesuaikan pengaturan yang kalian inginkan dan dapat menyesuaikannya dengan search engine.

  • Dengan mengunggah secara manual File Robots.txt

    Cara mengatur robots.txt pada WordPress dapat dilakukan dengan cara manua yakni dengan menggunakan FTP atau dengan mengakses pada panel hosting.

    1. Pertama-tama buat terlebih dahulu file robots.txt

      Masukkan lah rules pada file tersebut kemudian save.

    2. Mengunggah file robots.txt yang telah dibuat ke server hosting

      Kalian dapat menggunakan FTP untuk mengunggah file robots.txt yang telah kalian buat sebelumnya. Selain itu bisa juga menghosting melalui panel admin hostingnya.

  • Dengan menggunakan Plugin Yoast SEO

    1. Install Plugin terlebih dahulu

      Untuk memulainya install terlebih dahulu Plugin Yoast SEO pada laptop ataupun komputer kalian.

    2. Masuk pada halaman Tools

      Setelah selesai menginstall lanjutkan pada tahap selanjutnya yaitu menuju pada bagian menu. Pilih “SEO Tools”. Pada bagian ini terdapat beberapa pilihan menu yang akan muncul,klik pada “File Editor”.

    3. Membuat File Robots.txt

      Langkah selanjutnya yakni “Create a New Robots.txt” pada bagian ini kalian dapat menuliskan rule apa saja yang ingin kalian gunakan dan terapkan. Sesuaikan dengan kebutuhan kalian.