Pembuat robots.txt — kelola izin dan blokir perayap AI
Robots.txt Anda memberi tahu Google halaman mana yang boleh dirayapi dan diindeks—aturan yang salah bisa menyembunyikan seluruh situs dari pencarian. Buat file robots.txt di browser Anda. Langkah: pilih user-agent, tambahkan jalur Allow / Disallow dan baris Sitemap, lalu salin hasil teks polos dengan aturan sintaks dan user-agent terbaru perayap AI yang dijelaskan. Berjalan lokal—tidak ada yang diunggah. Contoh: memblokir GPTBot sambil menjaga Googlebot tetap aktif sepenuhnya.
Centang crawler yang ingin disertakan, lalu tambahkan jalur untuk setiap grup.
Cara kerja
Pilih perayap yang ditargetkan, tambahkan jalur Allow dan Disallow untuk setiap grup, opsional baris Sitemap, lalu tekan Buat. Halaman menyusun file teks polos mengikuti tata letak RFC 9309: satu baris User-agent per grup, baris Allow/Disallow di bawahnya, baris kosong antar grup, dan baris Sitemap di akhir. Salin hasilnya ke akar situs Anda di /robots.txt.
Aturan sintaks yang penting
Aturan robots.txt adalah awalan jalur, bukan pola, dan perayap menerapkan grup terakhir yang cocok di file. Ini aturan yang diikuti pembuat ini.
- Urutan grup: baris User-agent memulai grup untuk perayap tersebut; baris kosong mengakhirinya. Grup terakhir yang cocok menang.
- Pencocokan awalan: Allow dan Disallow cocok dengan awalan jalur, bukan substring atau regex. Hanya * dan $ yang khusus (RFC 9309).
- Disallow: / memblokir agen itu dari seluruh situs. Disallow bernilai kosong memperbolehkan segalanya untuk agen itu.
- Sitemap adalah ekstensi, bukan bagian RFC 9309. Tidak membedakan huruf besar/kecil dan bisa di mana saja, meski biasanya ditaruh di akhir.
Contoh
Contoh: Googlebot dengan Allow: / (aktif penuh), GPTBot dengan Disallow: / (diblokir), dan baris Sitemap menunjuk ke /sitemap.xml. Keluaran mencerminkan tata letak ini: satu grup per perayap, baris kosong antar grup, dan sitemap di akhir.
Cocok untuk
- Situs baru: buat robots.txt awal yang menjaga mesin pencari aktif dan menyembunyikan jalur staging privat.
- Kontrol perayap AI: blokir GPTBot, ClaudeBot, Google-Extended, CCBot, atau PerplexityBot dari pelatihan atau ekstraksi ringkasan tanpa menyentuh Googlebot.
- Penemuan: padukan robots.txt dengan baris Sitemap agar perayap menemukan sitemap Anda.
Frequently asked questions
Apa yang terjadi jika saya menulis Disallow: / ?
Itu memberi tahu perayap tersebut untuk tidak mengambil URL apa pun di bawah akar situs. Jika Googlebot mendapat Disallow: /, halaman Anda bisa hilang dari Google Search. Untuk jalur staging gunakan Disallow: /private/ sebagai gantinya.
Bagaimana cara memblokir perayap AI seperti GPTBot?
Buat grup dengan User-agent perayap tersebut (misalnya GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot) dan tambahkan Disallow: /. Periksa dokumentasi resmi perayap, karena perayap AI memperbarui user-agent dan rentang IP dari waktu ke waktu.
Di mana baris Sitemap sebaiknya ditaruh?
Posisi tidak memengaruhi cara mesin pencari membacanya, tetapi konvensinya menaruhnya di akhir file. Pembuat ini menambahkannya paling akhir saat Anda mengisi URL.
Apakah robots.txt saya diunggah ke mana pun?
Tidak. File dibuat di browser Anda dan tidak pernah dikirim ke server. Tutup tabnya dan tidak ada yang tersimpan.
Related tools
Pertanyaan atau masukan
Ada yang kurang jelas, rusak, atau hilang? Tulis pesan di bawah — kami membaca setiap catatan tentang alat ini.