Tentang alat ini
Menghasilkan file robots.txt yang sesuai standar dari aturan crawl Anda. File dibangun secara lokal di browser Anda.
Pertanyaan yang sering diajukan
Di mana robots.txt ditempatkan?
Di root domain Anda, misalnya https://example.com/robots.txt, agar crawler dapat menemukannya.
Apa fungsi Disallow?
Meminta crawler yang berperilaku baik untuk tidak mengambil path yang terdaftar; satu path per baris, diawali dengan garis miring.