Apa itu Generator Robots.txt?

Buat file robots.txt dengan format yang benar untuk mengontrol bagaimana crawler mesin pencari mengakses situs web Anda. Tambahkan aturan user-agent, atur jalur yang diizinkan/dilarang, tetapkan crawl delay, dan sertakan referensi sitemap — semuanya tanpa menulis file secara manual.

Cara menggunakan

1. Tambahkan aturan user-agent (misalnya Googlebot, Bingbot, atau * untuk semua) dan tentukan jalur mana yang diizinkan atau dilarang.
2. Secara opsional atur nilai crawl delay dan tambahkan URL sitemap Anda.
3. Salin atau unduh file robots.txt yang dihasilkan dan unggah ke root situs Anda.

Hasil

Buat aturan yang mengizinkan semua crawler di situs Anda tetapi memblokir jalur /admin/ dan /api/, dengan sitemap di https://example.com/sitemap.xml.

Alat terkait