Logo SEO Tool   untuk Writers untuk Webmaster
Deteksi dini anomali SERP Google
Pemantauan dan prioritas khusus market/niche
Mempelajari risiko yang sedang berlangsung dalam keyword
Ubah cara anda menerima wawasan melalui tool dan analytics

ROBOT.TXT GENERATOR

Buat file robots.txt dengan mudah
(biarkan kosong jika Anda tidak punya)

Pada versi terbaru ini kami melengkapi tools Robot TXT Generator dengan fittur export dan fitur useragent. Fitur export akan memudahkan Anda dalam memeriksa kode di Google Rich Result. Sedangkan fitur useragent akan memungkinkan Anda untuk menambah lebih banyak perintah di Robot TXT Generator. Hal ini memudahkan Robot txt lebih spesifik memilah mana konten yang ingin Anda tutup dan mana yang ditampilkan.

Diperbarui 15 Mar, 2021

Pada versi terbaru ini kami melengkapi tools Robot TXT Generator dengan fittur export dan fitur useragent. Fitur export akan memudahkan Anda dalam memeriksa kode di Google Rich Result. Sedangkan fitur useragent akan memungkinkan Anda untuk menambah lebih banyak perintah di Robot TXT Generator. Hal ini memudahkan Robot txt lebih spesifik memilah mana konten yang ingin Anda tutup dan mana yang ditampilkan.

Diperbarui 15 Mar, 2021

Apa itu Generator Robots.txt?

Standar robot exclusion, juga disebut protokol robot exclusion atau robot.txt, adalah tren yang digunakan oleh situs web untuk berbicara dengan web crawler dan robot web lainnya. Ini menentukan cara memberi tahu robot web tentang area mana di situs internet yang sekarang tidak boleh diproses atau dipindai.

Dalam praktiknya, file robots.txt adalah protokol yang memutuskan apakah agen pengguna tertentu (software crawler internet) diizinkan atau dilarang untuk merayapi elemen situs web. Perintah crawler ini dipastikan dengan "melarang" atau "mengizinkan" (atau semua) dari agen konsumen.

Mengapa Situs Anda Membutuhkan Robots.txt?

Dokumen Robots.Txt memanipulasi crawler untuk memasuki area tertentu dari halaman web Anda. Meskipun ini bisa sangat berbahaya jika Anda secara tidak sengaja melarang Googlebot merayapi seluruh laman web Anda (!!), ada beberapa situasi di mana dokumen robots.Txt bisa sangat berguna.

Jika tidak ada area di situs web yang Anda perlukan untuk mengontrol akses agen konsumen, Anda sekarang tidak dapat menginginkan data robots.txt sama sekali.

Fungsi Utama Robots.txt Untuk Situs Web Anda

Robots.txt diperlukan jika Anda ingin membatasi akses bot mesin pencari ke beberapa konten di situs web. Dengan menggunakan Robots.txt Anda dapat mengatur konten mana yang ingin Anda tampilkan pada halaman web.

Beberapa konten di situs web mungkin memerlukan hak akses terbatas. Dalam hal ini, Robots.txt berfungsi sebagai pengaman untuk memandu pengunjung karena tidak semua pengunjung memiliki akses yang sama ke suatu situs web.

Robots.txt dapat mengaktifkan fitur disalow (pelarangan) pada folder yang ingin Anda blokir sehingga Googlebot tidak merayapi data tersebut. Jika situs web tidak perlu memblokir file atau data apa pun, maka file Robots.txt tidak diperlukan. Penggunaan Robots.txt berguna untuk memaksimalkan fungsi SEO website.

Lebih spesifiknya, Robots.txt berfungsi untuk membagikan konten mana yang ingin Anda tampilkan atau tutup. Dalam beberapa kasus, konten mungkin tidak sesuai atau bahkan mengganggu tampilan konten situs web. Penting untuk memandu pengguna agar lebih fokus pada konten inti dan menangkap informasi dengan lebih cepat.

Kesimpulannya, Robots.txt memiliki fungsi untuk mengontrol kinerja spiderbots, membatasi aktivitas robot bot, memblokir halaman konten yang tidak ingin Anda tampilkan, mengindeks informasi situs web, melindungi data situs web agar tidak diretas atau dicuri oleh peretas, dan untuk mengontrol Google atau mesin pencari untuk mengakses situs web.

Lokasi File Robots.Txt

Faktanya, file Robots.txt sudah ada di folder root di server penyimpanan file (public_html). Robots.txt adalah file virtual yang tidak dapat dimodifikasi atau diakses oleh direktori lain. Anda tidak akan menemukan file Robots.txt di dalamnya saat Anda membuka public_html. Untuk dapat mengubah atau mengubah aturan di robots.txt, Anda harus menambahkan file baru terlebih dahulu.

Buat dan tempatkan file robots.txt baru di folder public_html dan tambahkan skrip konfigurasi secara manual. File baru ini digunakan untuk menggantikan file yang akan ditimpa pada file konfigurasi sebelumnya.

Skenario / Perintah Tag Robots.txt

Robots.txt bekerja sesuai dengan perintah yang dimasukkan oleh pengguna. Perintah dimasukkan dalam sintaks sesuai dengan kebutuhan situs web. Berikut adalah contoh sintaks:

  1. Disallow: / admin / = Apakah sintaks yang digunakan untuk melarang bot mesin telusur menjelajahi atau merayapi folder admin situs web
  2. Disallow: / config / = Apakah sintaks yang digunakan untuk melarang bot mesin telusur menjelajahi atau merayapi folder konfigurasi di situs web
  3. Agen-pengguna: * = Adalah sintaks yang digunakan untuk menunjukkan bahwa aturan dibuat untuk semua jenis robot milik mesin pencari
  4. Izinkan: / = Merupakan sintaks yang menunjukkan bahwa situs web mengizinkan robot untuk merayapi atau mencari data folder. Sintaks ini adalah kebalikan dari sintaks yang tidak diizinkan.

Perhatikan bahwa sintaks allow dan disallow dapat disesuaikan. Cukup tambahkan nama folder tertentu yang ingin Anda lindungi di sintaks.

robo-img

Panduan Memulai Menulis

Panduan Memulai Optimasi Mesin Pencari (SEO) memberikan praktik terbaik untuk mempermudah mesin pencari merayapi, mengindeks, dan memahami konten Anda.

Jelajahi Sekarang?

Apa yang baru di cmlabs ROBOT.TXT GENERATOR