Generator Robots.txt
URL Situs Web (opsional)
Aturan
1
User-agent
Direktif
Jalur
URL Sitemap (satu per baris)
Penundaan Perayapan (detik)
Cara menggunakan Generator Robots.txt
- 1
Tambahkan aturan crawl
Klik Add Rule dan atur User-agent, pilih Allow atau Disallow, dan masukkan path yang harus diterapkan setiap aturan.
- 2
Atur direktif opsional
Tambahkan URL sitemap Anda (satu per baris) dan crawl-delay opsional dalam detik untuk mengontrol bagaimana mesin pencari meng-crawl situs Anda.
- 3
Buat file-nya
Klik Generate robots.txt untuk membangun file yang diformat dengan benar dari aturan dan direktif Anda.
- 4
Salin atau unduh
Gunakan Copy to Clipboard atau Download robots.txt, lalu unggah file ke root domain Anda (yoursite.com/robots.txt).
Pertanyaan yang sering diajukan
Untuk apa file robots.txt?
File robots.txt memberi tahu crawler mesin pencari bagian mana dari situs Anda yang boleh atau tidak boleh mereka akses. File ini menggunakan direktif User-agent, Allow, dan Disallow serta ditempatkan di root domain Anda sehingga bot membacanya sebelum meng-crawl.
Bagaimana cara kerja aturan Allow dan Disallow?
Disallow memblokir crawler dari sebuah path, sedangkan Allow secara eksplisit mengizinkan satu, yang berguna untuk membuka subfolder di dalam direktori yang sebaliknya diblokir. Anda dapat menargetkan semua bot dengan User-agent untuk semua robot, atau menulis aturan terpisah untuk crawler tertentu seperti Googlebot.
Apa fungsi crawl-delay?
Crawl-delay menyarankan berapa detik crawler harus menunggu di antara permintaan, yang dapat mengurangi beban server. Perhatikan bahwa tidak semua mesin pencari mematuhinya; misalnya, Google mengabaikan crawl-delay dan lebih memilih pengaturan crawl-rate di Search Console.
Mengapa menambahkan baris sitemap?
Menyertakan direktif Sitemap mengarahkan crawler ke sitemap XML Anda sehingga mereka dapat menemukan halaman Anda secara lebih efisien. Alat ini memungkinkan Anda mencantumkan beberapa URL sitemap, satu per baris, dan menuliskannya ke dalam file untuk Anda.
Apakah robots.txt menjamin sebuah halaman tetap di luar Google?
Tidak. Disallow mencegah crawling tetapi URL yang diblokir masih bisa diindeks jika halaman lain menautkannya. Untuk menjaga halaman tetap di luar hasil pencarian, gunakan meta tag atau header noindex pada halaman yang dapat di-crawl, alih-alih hanya mengandalkan robots.txt.
Alat terkait
Lanjutkan dengan alat praktis ini