Generator Robots.txt
Buat robots.txt yang valid: izinkan atau blokir crawler, blokir path dengan wildcard, tambahkan pengecualian Allow, Crawl-delay, URL sitemap, dan blokir bot pelatihan AI.
Path diawali /. * cocok dengan karakter apa pun dan $ menandai akhir URL.
Pengecualian di dalam folder yang diblokir; aturan paling spesifik yang berlaku.
Dipatuhi Bing dan Yandex; Google mengabaikannya.
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?sessionid= Sitemap: https://example.com/sitemap.xml
Apa itu Generator Robots.txt?
Generator ini menyusun file robots.txt sesuai RFC 9309. Pilih apakah crawler boleh mengakses situs, daftarkan path yang diblokir (dengan wildcard * dan $) serta pengecualian Allow, tambahkan Crawl-delay opsional dan URL sitemap Anda, dan jika perlu tambahkan grup yang memblokir crawler pelatihan AI dan pencarian AI seperti GPTBot, ClaudeBot, Google-Extended, CCBot, dan PerplexityBot.
Cara menggunakan Generator Robots.txt
- Pilih aturan bawaan: izinkan perayapan kecuali path yang didaftarkan, atau blokir seluruh situs.
- Masukkan path Disallow dan pengecualian Allow, satu per baris, masing-masing diawali /.
- Tambahkan Crawl-delay jika perlu beserta URL sitemap Anda.
- Centang "Blokir juga crawler pelatihan AI dan pencarian AI" jika Anda ingin menolak pelatihan dan pencarian AI.
- Salin atau unduh robots.txt lalu unggah ke root situs Anda.
Contoh
Allow all except /admin/, /cart/, /*?sessionid= · sitemap https://example.com/sitemap.xml
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?sessionid= Sitemap: https://example.com/sitemap.xml
Kapan menggunakan Generator Robots.txt
Gunakan untuk mencegah crawler membuang waktu di URL admin, keranjang, pencarian, atau berparameter, untuk mengarahkan mereka ke sitemap, atau untuk menolak crawler AI. robots.txt hanya bersifat anjuran: file ini tidak menyembunyikan halaman dan tidak menghapus URL yang sudah terindeks – gunakan noindex atau autentikasi untuk itu – dan bot jahat mengabaikannya.
Cara kerja Generator Robots.txt
Alat ini menulis grup User-agent: * berisi baris Allow dan Disallow Anda (Disallow: kosong jika tidak ada yang diblokir, agar grup tetap valid), lalu grup opsional yang mencantumkan user agent AI dengan Disallow: /, kemudian baris Sitemap. Baris yang tidak diawali / atau * ditandai karena crawler mengabaikannya. Crawl-delay hanya ditambahkan jika berupa angka.
Kasus Penggunaan Umum
- Memblokir /admin/ dan /cart/ sambil mengizinkan bagian lain toko online.
- Memblokir seluruh situs staging dari crawler.
- Menolak GPTBot, ClaudeBot, dan Google-Extended.
- Mendeklarasikan beberapa file sitemap.
Pertanyaan Umum
Apakah Disallow menghapus halaman dari Google?
Tidak. URL yang diblokir tetap bisa terindeks dari tautan, hanya saja tanpa konten. Gunakan meta tag noindex (dan izinkan perayapan) agar halaman tidak muncul di hasil.
Apakah Google mematuhi Crawl-delay?
Tidak. Google mengabaikannya; Bing dan Yandex mematuhinya.
Apakah memblokir Google-Extended akan mengeluarkan saya dari Google Search?
Tidak. Google-Extended hanya mengatur pemakaian konten Anda untuk pelatihan Gemini dan Vertex AI; Googlebot tetap merayapi untuk pencarian.