Pembuat Robots.txt

Buat file robots.txt untuk mengontrol bagaimana mesin pencari dan bot mengakses halaman situs Anda

Aturan default untuk semua bot (User-agent: *)

Path yang tidak diizinkan diindeks (satu per baris) Path yang secara eksplisit diizinkan (opsional)

Crawl-delay dalam detik (opsional) URL Sitemap (opsional)

Blokir bot AI tertentu (opsional)

File robots.txt yang siap akan muncul di sini…

Apa itu alat Pembuat Robots.txt di Fastols?

Alat Pembuat Robots.txt menghasilkan file robots.txt yang memberi tahu mesin pencari halaman mana yang boleh atau tidak boleh mereka jelajahi (crawl) di situs web Anda.

Dibuat Tanpa Panggilan Server Apa Pun

Aturan robots.txt Anda dirakit langsung di browser dari pilihan yang Anda buat.

Pratinjau File Secara Langsung

Lihat hasil robots.txt diperbarui setiap kali Anda mengaktifkan sebuah aturan.

Siap Disalin, Selalu Gratis

Unduh atau salin file akhir tanpa perlu mendaftar.

Cara Membuat File Robots.txt dengan Langkah Mudah

1Tentukan aturan izin atau larangan crawling untuk direktori tertentu.
2Tambahkan tautan sitemap jika diperlukan.
3Klik tombol “Buat Robots.txt” untuk menghasilkan file.
4Unduh file robots.txt dan unggah ke root situs Anda.

Pertanyaan Umum Seputar Pembuat Robots.txt

Apa fungsi file robots.txt bagi sebuah situs?

File ini memberi instruksi kepada mesin pencari tentang halaman atau direktori mana yang boleh atau tidak boleh dijelajahi.

Di mana file robots.txt harus diletakkan?

File ini harus diletakkan di direktori utama (root) domain, misalnya namadomain.com/robots.txt.

Apakah bisa mengatur aturan berbeda untuk bot tertentu?

Bisa, Anda dapat menentukan aturan khusus untuk user-agent atau bot mesin pencari tertentu.

Apakah data yang dimasukkan dikirim ke server?

Tidak, seluruh proses pembuatan file berjalan langsung di browser tanpa data dikirim ke server mana pun.

Apakah alat ini gratis tanpa batas penggunaan?

Ya, membuat file robots.txt gratis sepenuhnya, tanpa perlu mendaftar.