Pembuat Robots.txt

Buat file robots.txt untuk mengontrol bagaimana mesin pencari dan bot mengakses halaman situs Anda

Aturan default untuk semua bot (User-agent: *)

Path yang tidak diizinkan diindeks (satu per baris) Path yang secara eksplisit diizinkan (opsional)

Crawl-delay dalam detik (opsional) URL Sitemap (opsional)

File robots.txt yang siap akan muncul di sini…