Informazioni su questo strumento
Genera un file robots.txt conforme agli standard a partire dalle tue regole di scansione. Il file viene creato localmente nel tuo browser.
Domande frequenti
Dove va il robots.txt?
Nella radice del tuo dominio, ad esempio https://example.com/robots.txt, così i crawler possono trovarlo.
Cosa fa Disallow?
Chiede ai crawler ben educati di non recuperare i percorsi elencati; un percorso per riga, che inizia con una barra.