🤖

Generator robots.txt

Bangun robots.txt yang valid dengan aturan allow, disallow, crawl-delay, dan sitemap.

File tetap di perangkat ini

File diproses di browser, tidak pernah diunggah. Situs mengunduh kode dan aset yang diperlukan alat. Tanpa akun atau pelacak.

Gunakan Unduh untuk menyimpan alat ini sebagai satu file HTML untuk penggunaan offline.

User-agent

Crawl-delay (detik)

Path yang diizinkan (satu per baris)

Path yang dilarang (satu per baris)

URL Sitemap

keluaran

— keluaran muncul di sini —

Tentang alat ini

Menghasilkan file robots.txt yang sesuai standar dari aturan crawl Anda. File dibangun secara lokal di browser Anda.

Di mana robots.txt ditempatkan?

Di root domain Anda, misalnya https://example.com/robots.txt, agar crawler dapat menemukannya.

Apa fungsi Disallow?

Meminta crawler yang berperilaku baik untuk tidak mengambil path yang terdaftar; satu path per baris, diawali dengan garis miring.