Standar pengecualian robot, juga dikenal sebagai protokol pengecualian robot atau hanya robots.txt, adalah standar yang digunakan oleh situs web untuk berkomunikasi dengan perayap web dan robot web lainnya. Standar tersebut menentukan bagaimana memberi tahu robot web tentang area situs web mana yang tidak boleh diproses atau dipindai.
Dalam praktiknya, file robots.txt menunjukkan apakah agen pengguna tertentu (perangkat lunak perayapan web) dapat atau tidak dapat merayapi bagian situs web. Petunjuk perayapan ini ditentukan dengan melarang atau mengizinkan perilaku agen pengguna tertentu (atau semua).
File Robots.txt mengontrol akses crawler ke area tertentu di situs Anda. Meskipun ini bisa sangat berbahaya jika Anda tidak sengaja melarang Googlebot merayapi seluruh situs Anda (!!), ada beberapa situasi di mana file robots.txt bisa sangat berguna.
Jika tidak ada area di situs Anda yang ingin Anda kontrol akses agen pengguna, Anda mungkin tidak memerlukan file robots.txt sama sekali.